Rekomendacje na podstawie danych binarnych

Jak widać na podstawie wartości ROEM, modele te wciąż potrafią generować sensowne predykcje na zbiorze testowym. Przyjrzyjmy się teraz konkretnym rekomendacjom.

Funkcja col z klasy pyspark.sql.functions została już zaimportowana.

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

Instrukcje do ćwiczenia

Ramka danych original_ratings jest już dostępna. Zawiera oryginalne oceny wystawione przez użytkowników. Użyj .filter(), aby sprawdzić oryginalne oceny użytkownika 26.
Ramka danych binary_recs jest również dostępna. Zawiera rekomendacje dla każdego użytkownika. Użyj .filter(), aby sprawdzić rekomendacje dla userId == 26. Czy są spójne z tym, czego można się spodziewać na podstawie oryginalnych ocen?
Zrób to samo dla użytkownika 99. Możesz też sprawdzić innych użytkowników.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# View user 26's original ratings
print ("User 26 Original Ratings:")
____.____(col("userId") == 26).show()

# View user 26's recommendations
print ("User 26 Recommendations:")
binary_recs.filter(col("____") == 26).show()

# View user 99's original ratings
print ("User 99 Original Ratings:")
____.filter(____("userId") == 99).show()

# View user 99's recommendations
print ("User 99 Recommendations:")
binary_recs.filter(col("userId") == ____).show()

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Ten rozdział pokaże ci, jak duży potencjał mają silniki rekomendacji. Poznasz ważne różnice między silnikami opartymi na filtrowaniu kolaboratywnym a silnikami opartymi na treści, a także różne rodzaje danych niejawnych i jawnych, z których korzystają silniki rekomendacji. Nauczysz się też skutecznej metody wykrywania ukrytych cech (cech latentnych), o których istnieniu możesz nawet nie wiedzieć w swoich zbiorach danych klientów.

Exercise 1: Dlaczego warto nauczyć się budować silniki rekomendacji?Exercise 2: Przekonaj się, jak działa silnik rekomendacji Exercise 3: Siła silników rekomendacji Exercise 4: Typy silników rekomendacji i typy danych Exercise 5: Filtrowanie kolaboratywne a filtrowanie treściowe Exercise 6: Filtrowanie kolaboratywne a filtrowanie oparte na treści – część II Exercise 7: Dane niejawne a jawne Exercise 8: Typy danych z ocenami Exercise 9: Zastosowania silników rekomendacji Exercise 10: Alternatywne zastosowania silników rekomendacji.Exercise 11: Sprawdź rozumienie ukrytych cech

W tym rozdziale przypomnisz sobie podstawowe pojęcia związane z mnożeniem i faktoryzacją macierzy, a następnie zagłębisz się w sposób działania algorytmu Alternating Least Squares – jego argumenty i hiperparametry pozwalające uzyskać jak najlepsze rekomendacje. Poznasz też ważne techniki właściwego przygotowania danych pod kątem ALS w Spark.

Exercise 1: Omówienie mnożenia macierzy Exercise 2: Mnożenie macierzy Exercise 3: Mnożenie macierzy – część II Exercise 4: Omówienie faktoryzacji macierzy Exercise 5: Faktoryzacja macierzy Exercise 6: Nieujemna faktoryzacja macierzy Exercise 7: Jak ALS naprzemiennie generuje prognozy Exercise 8: Szacowanie rekomendacji Exercise 9: RMSE podczas iteracji ALS Exercise 10: Przygotowanie danych dla Spark ALS Exercise 11: Poprawny format i unikalni użytkownicy Exercise 12: Przypisywanie identyfikatorów całkowitoliczbowych do filmów Exercise 13: Parametry i hiperparametry ALS Exercise 14: Zbuduj model ALS Exercise 15: Budowanie ewaluatora RMSE Exercise 16: Oblicz RMSE

W tym rozdziale zapoznasz się ze zbiorem danych MovieLens. Przejdziesz przez ocenę jego przydatności do ALS, zbudujesz kompletny model ALS z walidacją krzyżową, a następnie nauczysz się oceniać jego wydajność. To będzie podstawa dla wszystkich kolejnych modeli ALS tworzonych w PySpark.

Exercise 1: Wprowadzenie do zbioru danych MovieLens Exercise 2: Przeglądanie danych MovieLens Exercise 3: Oblicz rzadkość macierzy Exercise 4: Metody GroupBy i Filter Exercise 5: Statystyki podsumowujące zbioru MovieLens Exercise 6: Podgląd schematu Exercise 7: Budowa modelu ALS na danych MovieLens Exercise 8: Tworzenie podziałów na zbiór testowy i treningowy oraz budowanie modelu ALS Exercise 9: Powiedz Sparkowi, jak dostroić model ALS Exercise 10: Zbuduj potok krzyżowej walidacji Exercise 11: Najlepszy model i jego parametry Exercise 12: Ocena wydajności modelu Exercise 13: Generowanie predykcji i obliczanie RMSE Exercise 14: Interpretacja RMSE Exercise 15: Czy rekomendacje mają sens

W większości rzeczywistych sytuacji nie dysponujesz „idealnymi" danymi klientów do zbudowania modelu ALS. Ten rozdział nauczy cię, jak wykorzystać dane o zachowaniach klientów do „wnioskowania" o ich ocenach, a następnie użyć tych wnioskowanych ocen do zbudowania silnika rekomendacji ALS. Korzystając ze zbioru Million Songs Dataset oraz innej wersji zbioru MovieLens, rozdział pokaże ci, jak na podstawie dostępnych danych zbudować silnik rekomendacji oparty na ALS i ocenić jego wydajność.

Exercise 1: Wprowadzenie do zbioru danych Million Songs Exercise 2: Sprawdź rozumienie koncepcji ocen niejawnych Exercise 3: Statystyki podsumowujące zbioru MSD Exercise 4: Grupowe statystyki opisowe Exercise 5: Dodawanie zer Exercise 6: Ocena modeli z niejawnymi ocenami Exercise 7: Określ hiperparametry ALS Exercise 8: Budowanie modeli z niejawnymi ocenami Exercise 9: Uruchamianie modelu ALS z niejawnymi ocenami i walidacją krzyżową Exercise 10: Wyodrębnianie parametrów Exercise 11: Przegląd ocen binarnych i niejawnych Exercise 12: Wydajność modelu binarnego Exercise 13: Rekomendacje na podstawie danych binarnych

Bieżące ćwiczenie

Exercise 14: Podsumowanie kursu