Podgląd schematu

Jak wiesz z poprzednich rozdziałów, implementacja ALS w Sparku wymaga, aby kolumny movieId i userId były w formacie całkowitoliczbowym (integer). Wiele zbiorów danych wymaga odpowiedniego przygotowania, zanim będą poprawnie współpracować ze Sparkiem. Częstym problemem jest to, że Spark traktuje liczby jako ciągi znaków – i odwrotnie.

W tym ćwiczeniu użyjesz metody .cast(), aby rozwiązać tego rodzaju problemy. Zacznij od sprawdzenia schematu zbioru danych i upewnij się, że dane mają właściwy format.

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

Instrukcje do ćwiczenia

Użyj .printSchema(), aby sprawdzić, czy zbiór danych z ocenami zawiera odpowiednie typy danych dla ALS. Czy kolumny userId i movieId są typu integer? Czy kolumna rating ma format liczbowy?
Upewnij się, że kolumny ramki danych ratings mają właściwe typy danych. Wywołaj metodę cast() na każdej kolumnie: ustaw userID i movieId jako typ "integer", a rating jako typ "double". (Kolumna timestamp nie jest nam potrzebna, więc możesz ją pominąć.)
Wywołaj .printSchema() ponownie na ratings, aby potwierdzić, że typy danych są teraz poprawne.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Use .printSchema() to see the datatypes of the ratings dataset
ratings.____()

# Tell Spark to convert the columns to the proper data types
ratings = ratings.select(ratings.userId.cast("____"), ratings.movieId.cast("____"), ratings.rating.cast("____"))

# Call .printSchema() again to confirm the columns are now in the correct format
ratings.____()

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Ten rozdział pokaże ci, jak duży potencjał mają silniki rekomendacji. Poznasz ważne różnice między silnikami opartymi na filtrowaniu kolaboratywnym a silnikami opartymi na treści, a także różne rodzaje danych niejawnych i jawnych, z których korzystają silniki rekomendacji. Nauczysz się też skutecznej metody wykrywania ukrytych cech (cech latentnych), o których istnieniu możesz nawet nie wiedzieć w swoich zbiorach danych klientów.

Exercise 1: Dlaczego warto nauczyć się budować silniki rekomendacji?Exercise 2: Przekonaj się, jak działa silnik rekomendacji Exercise 3: Siła silników rekomendacji Exercise 4: Typy silników rekomendacji i typy danych Exercise 5: Filtrowanie kolaboratywne a filtrowanie treściowe Exercise 6: Filtrowanie kolaboratywne a filtrowanie oparte na treści – część II Exercise 7: Dane niejawne a jawne Exercise 8: Typy danych z ocenami Exercise 9: Zastosowania silników rekomendacji Exercise 10: Alternatywne zastosowania silników rekomendacji.Exercise 11: Sprawdź rozumienie ukrytych cech

W tym rozdziale przypomnisz sobie podstawowe pojęcia związane z mnożeniem i faktoryzacją macierzy, a następnie zagłębisz się w sposób działania algorytmu Alternating Least Squares – jego argumenty i hiperparametry pozwalające uzyskać jak najlepsze rekomendacje. Poznasz też ważne techniki właściwego przygotowania danych pod kątem ALS w Spark.

Exercise 1: Omówienie mnożenia macierzy Exercise 2: Mnożenie macierzy Exercise 3: Mnożenie macierzy – część II Exercise 4: Omówienie faktoryzacji macierzy Exercise 5: Faktoryzacja macierzy Exercise 6: Nieujemna faktoryzacja macierzy Exercise 7: Jak ALS naprzemiennie generuje prognozy Exercise 8: Szacowanie rekomendacji Exercise 9: RMSE podczas iteracji ALS Exercise 10: Przygotowanie danych dla Spark ALS Exercise 11: Poprawny format i unikalni użytkownicy Exercise 12: Przypisywanie identyfikatorów całkowitoliczbowych do filmów Exercise 13: Parametry i hiperparametry ALS Exercise 14: Zbuduj model ALS Exercise 15: Budowanie ewaluatora RMSE Exercise 16: Oblicz RMSE

W tym rozdziale zapoznasz się ze zbiorem danych MovieLens. Przejdziesz przez ocenę jego przydatności do ALS, zbudujesz kompletny model ALS z walidacją krzyżową, a następnie nauczysz się oceniać jego wydajność. To będzie podstawa dla wszystkich kolejnych modeli ALS tworzonych w PySpark.

Exercise 1: Wprowadzenie do zbioru danych MovieLens Exercise 2: Przeglądanie danych MovieLens Exercise 3: Oblicz rzadkość macierzy Exercise 4: Metody GroupBy i Filter Exercise 5: Statystyki podsumowujące zbioru MovieLens Exercise 6: Podgląd schematu

Bieżące ćwiczenie

Exercise 7: Budowa modelu ALS na danych MovieLens Exercise 8: Tworzenie podziałów na zbiór testowy i treningowy oraz budowanie modelu ALS Exercise 9: Powiedz Sparkowi, jak dostroić model ALS Exercise 10: Zbuduj potok krzyżowej walidacji Exercise 11: Najlepszy model i jego parametry Exercise 12: Ocena wydajności modelu Exercise 13: Generowanie predykcji i obliczanie RMSE Exercise 14: Interpretacja RMSE Exercise 15: Czy rekomendacje mają sens

W większości rzeczywistych sytuacji nie dysponujesz „idealnymi" danymi klientów do zbudowania modelu ALS. Ten rozdział nauczy cię, jak wykorzystać dane o zachowaniach klientów do „wnioskowania" o ich ocenach, a następnie użyć tych wnioskowanych ocen do zbudowania silnika rekomendacji ALS. Korzystając ze zbioru Million Songs Dataset oraz innej wersji zbioru MovieLens, rozdział pokaże ci, jak na podstawie dostępnych danych zbudować silnik rekomendacji oparty na ALS i ocenić jego wydajność.

Exercise 1: Wprowadzenie do zbioru danych Million Songs Exercise 2: Sprawdź rozumienie koncepcji ocen niejawnych Exercise 3: Statystyki podsumowujące zbioru MSD Exercise 4: Grupowe statystyki opisowe Exercise 5: Dodawanie zer Exercise 6: Ocena modeli z niejawnymi ocenami Exercise 7: Określ hiperparametry ALS Exercise 8: Budowanie modeli z niejawnymi ocenami Exercise 9: Uruchamianie modelu ALS z niejawnymi ocenami i walidacją krzyżową Exercise 10: Wyodrębnianie parametrów Exercise 11: Przegląd ocen binarnych i niejawnych Exercise 12: Wydajność modelu binarnego Exercise 13: Rekomendacje na podstawie danych binarnych Exercise 14: Podsumowanie kursu