Typy danych z ocenami

Markus ogląda mnóstwo filmów – dokumenty, filmy superbohaterskie, klasyki i dramaty. Korzystając z dotychczasowej wiedzy o Sparku, przeanalizuj ramkę danych markus_ratings, która zawiera informacje o tym, ile razy Markus obejrzał filmy z różnych gatunków. Zastanów się, czy mamy tu do czynienia z ocenami jawnymi czy niejawnymi. Użyj metody groupBy(), aby sprawdzić, który gatunek ma najwyższą łączną liczbę obejrzeń – to może mieć istotny wpływ na to, jakie rekomendacje wygeneruje algorytm ALS dla Markusa.

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

Instrukcje do ćwiczenia

Użyj metody groupBy(), aby pogrupować ramkę danych markus_ratings według kolumny "Genre".
Zastosuj metodę .sum(), aby obliczyć łączną liczbę obejrzanych filmów dla każdego gatunku.
Pamiętaj, aby na końcu dodać metodę .show() i wyświetlić wyniki.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Group the data by "Genre"
markus_ratings.____("____").____().____()

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Ten rozdział pokaże ci, jak duży potencjał mają silniki rekomendacji. Poznasz ważne różnice między silnikami opartymi na filtrowaniu kolaboratywnym a silnikami opartymi na treści, a także różne rodzaje danych niejawnych i jawnych, z których korzystają silniki rekomendacji. Nauczysz się też skutecznej metody wykrywania ukrytych cech (cech latentnych), o których istnieniu możesz nawet nie wiedzieć w swoich zbiorach danych klientów.

Exercise 1: Dlaczego warto nauczyć się budować silniki rekomendacji?Exercise 2: Przekonaj się, jak działa silnik rekomendacji Exercise 3: Siła silników rekomendacji Exercise 4: Typy silników rekomendacji i typy danych Exercise 5: Filtrowanie kolaboratywne a filtrowanie treściowe Exercise 6: Filtrowanie kolaboratywne a filtrowanie oparte na treści – część II Exercise 7: Dane niejawne a jawne Exercise 8: Typy danych z ocenami

Bieżące ćwiczenie

Exercise 9: Zastosowania silników rekomendacji Exercise 10: Alternatywne zastosowania silników rekomendacji.Exercise 11: Sprawdź rozumienie ukrytych cech

W tym rozdziale przypomnisz sobie podstawowe pojęcia związane z mnożeniem i faktoryzacją macierzy, a następnie zagłębisz się w sposób działania algorytmu Alternating Least Squares – jego argumenty i hiperparametry pozwalające uzyskać jak najlepsze rekomendacje. Poznasz też ważne techniki właściwego przygotowania danych pod kątem ALS w Spark.

Exercise 1: Omówienie mnożenia macierzy Exercise 2: Mnożenie macierzy Exercise 3: Mnożenie macierzy – część II Exercise 4: Omówienie faktoryzacji macierzy Exercise 5: Faktoryzacja macierzy Exercise 6: Nieujemna faktoryzacja macierzy Exercise 7: Jak ALS naprzemiennie generuje prognozy Exercise 8: Szacowanie rekomendacji Exercise 9: RMSE podczas iteracji ALS Exercise 10: Przygotowanie danych dla Spark ALS Exercise 11: Poprawny format i unikalni użytkownicy Exercise 12: Przypisywanie identyfikatorów całkowitoliczbowych do filmów Exercise 13: Parametry i hiperparametry ALS Exercise 14: Zbuduj model ALS Exercise 15: Budowanie ewaluatora RMSE Exercise 16: Oblicz RMSE

W tym rozdziale zapoznasz się ze zbiorem danych MovieLens. Przejdziesz przez ocenę jego przydatności do ALS, zbudujesz kompletny model ALS z walidacją krzyżową, a następnie nauczysz się oceniać jego wydajność. To będzie podstawa dla wszystkich kolejnych modeli ALS tworzonych w PySpark.

Exercise 1: Wprowadzenie do zbioru danych MovieLens Exercise 2: Przeglądanie danych MovieLens Exercise 3: Oblicz rzadkość macierzy Exercise 4: Metody GroupBy i Filter Exercise 5: Statystyki podsumowujące zbioru MovieLens Exercise 6: Podgląd schematu Exercise 7: Budowa modelu ALS na danych MovieLens Exercise 8: Tworzenie podziałów na zbiór testowy i treningowy oraz budowanie modelu ALS Exercise 9: Powiedz Sparkowi, jak dostroić model ALS Exercise 10: Zbuduj potok krzyżowej walidacji Exercise 11: Najlepszy model i jego parametry Exercise 12: Ocena wydajności modelu Exercise 13: Generowanie predykcji i obliczanie RMSE Exercise 14: Interpretacja RMSE Exercise 15: Czy rekomendacje mają sens

W większości rzeczywistych sytuacji nie dysponujesz „idealnymi" danymi klientów do zbudowania modelu ALS. Ten rozdział nauczy cię, jak wykorzystać dane o zachowaniach klientów do „wnioskowania" o ich ocenach, a następnie użyć tych wnioskowanych ocen do zbudowania silnika rekomendacji ALS. Korzystając ze zbioru Million Songs Dataset oraz innej wersji zbioru MovieLens, rozdział pokaże ci, jak na podstawie dostępnych danych zbudować silnik rekomendacji oparty na ALS i ocenić jego wydajność.

Exercise 1: Wprowadzenie do zbioru danych Million Songs Exercise 2: Sprawdź rozumienie koncepcji ocen niejawnych Exercise 3: Statystyki podsumowujące zbioru MSD Exercise 4: Grupowe statystyki opisowe Exercise 5: Dodawanie zer Exercise 6: Ocena modeli z niejawnymi ocenami Exercise 7: Określ hiperparametry ALS Exercise 8: Budowanie modeli z niejawnymi ocenami Exercise 9: Uruchamianie modelu ALS z niejawnymi ocenami i walidacją krzyżową Exercise 10: Wyodrębnianie parametrów Exercise 11: Przegląd ocen binarnych i niejawnych Exercise 12: Wydajność modelu binarnego Exercise 13: Rekomendacje na podstawie danych binarnych Exercise 14: Podsumowanie kursu