Metody GroupBy i Filter

Teraz, gdy wiemy już nieco więcej o zbiorze danych, przyjrzyjmy się ogólnym statystykom podsumowującym zbioru ratings i sprawdźmy, ile ocen mają poszczególne filmy oraz ile ocen wystawił każdy użytkownik.

Dwie metody, które przydadzą ci się podczas agregowania statystyk w Sparku, to .filter() i .groupBy(). Metoda .filter() pozwala odfiltrować dane, które nie spełniają określonych kryteriów.

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

Instrukcje do ćwiczenia

Zaimportuj col z biblioteki pyspark.sql.functions i wyświetl zbiór danych ratings za pomocą .show().
Zastosuj metodę .filter() na zbiorze danych ratings, podając w nawiasie poniższy warunek, aby uwzględnić tylko userId mniejsze niż 100: col("userId") < 100.
Wywołaj metodę .groupBy() na zbiorze danych ratings, aby pogrupować dane według userId. Następnie wywołaj metodę .count(), aby sprawdzić, ile filmów ocenił każdy userId.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Import the requisite packages
from pyspark.sql.____ import ____

# View the ratings dataset
____.____()

# Filter to show only userIds less than 100
ratings.____(col("____") < ____).____()

# Group data by userId, count ratings
ratings.____("____").count().show()

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Ten rozdział pokaże ci, jak duży potencjał mają silniki rekomendacji. Poznasz ważne różnice między silnikami opartymi na filtrowaniu kolaboratywnym a silnikami opartymi na treści, a także różne rodzaje danych niejawnych i jawnych, z których korzystają silniki rekomendacji. Nauczysz się też skutecznej metody wykrywania ukrytych cech (cech latentnych), o których istnieniu możesz nawet nie wiedzieć w swoich zbiorach danych klientów.

Exercise 1: Dlaczego warto nauczyć się budować silniki rekomendacji?Exercise 2: Przekonaj się, jak działa silnik rekomendacji Exercise 3: Siła silników rekomendacji Exercise 4: Typy silników rekomendacji i typy danych Exercise 5: Filtrowanie kolaboratywne a filtrowanie treściowe Exercise 6: Filtrowanie kolaboratywne a filtrowanie oparte na treści – część II Exercise 7: Dane niejawne a jawne Exercise 8: Typy danych z ocenami Exercise 9: Zastosowania silników rekomendacji Exercise 10: Alternatywne zastosowania silników rekomendacji.Exercise 11: Sprawdź rozumienie ukrytych cech

W tym rozdziale przypomnisz sobie podstawowe pojęcia związane z mnożeniem i faktoryzacją macierzy, a następnie zagłębisz się w sposób działania algorytmu Alternating Least Squares – jego argumenty i hiperparametry pozwalające uzyskać jak najlepsze rekomendacje. Poznasz też ważne techniki właściwego przygotowania danych pod kątem ALS w Spark.

Exercise 1: Omówienie mnożenia macierzy Exercise 2: Mnożenie macierzy Exercise 3: Mnożenie macierzy – część II Exercise 4: Omówienie faktoryzacji macierzy Exercise 5: Faktoryzacja macierzy Exercise 6: Nieujemna faktoryzacja macierzy Exercise 7: Jak ALS naprzemiennie generuje prognozy Exercise 8: Szacowanie rekomendacji Exercise 9: RMSE podczas iteracji ALS Exercise 10: Przygotowanie danych dla Spark ALS Exercise 11: Poprawny format i unikalni użytkownicy Exercise 12: Przypisywanie identyfikatorów całkowitoliczbowych do filmów Exercise 13: Parametry i hiperparametry ALS Exercise 14: Zbuduj model ALS Exercise 15: Budowanie ewaluatora RMSE Exercise 16: Oblicz RMSE

W tym rozdziale zapoznasz się ze zbiorem danych MovieLens. Przejdziesz przez ocenę jego przydatności do ALS, zbudujesz kompletny model ALS z walidacją krzyżową, a następnie nauczysz się oceniać jego wydajność. To będzie podstawa dla wszystkich kolejnych modeli ALS tworzonych w PySpark.

Exercise 1: Wprowadzenie do zbioru danych MovieLens Exercise 2: Przeglądanie danych MovieLens Exercise 3: Oblicz rzadkość macierzy Exercise 4: Metody GroupBy i Filter

Bieżące ćwiczenie

Exercise 5: Statystyki podsumowujące zbioru MovieLens Exercise 6: Podgląd schematu Exercise 7: Budowa modelu ALS na danych MovieLens Exercise 8: Tworzenie podziałów na zbiór testowy i treningowy oraz budowanie modelu ALS Exercise 9: Powiedz Sparkowi, jak dostroić model ALS Exercise 10: Zbuduj potok krzyżowej walidacji Exercise 11: Najlepszy model i jego parametry Exercise 12: Ocena wydajności modelu Exercise 13: Generowanie predykcji i obliczanie RMSE Exercise 14: Interpretacja RMSE Exercise 15: Czy rekomendacje mają sens

W większości rzeczywistych sytuacji nie dysponujesz „idealnymi" danymi klientów do zbudowania modelu ALS. Ten rozdział nauczy cię, jak wykorzystać dane o zachowaniach klientów do „wnioskowania" o ich ocenach, a następnie użyć tych wnioskowanych ocen do zbudowania silnika rekomendacji ALS. Korzystając ze zbioru Million Songs Dataset oraz innej wersji zbioru MovieLens, rozdział pokaże ci, jak na podstawie dostępnych danych zbudować silnik rekomendacji oparty na ALS i ocenić jego wydajność.

Exercise 1: Wprowadzenie do zbioru danych Million Songs Exercise 2: Sprawdź rozumienie koncepcji ocen niejawnych Exercise 3: Statystyki podsumowujące zbioru MSD Exercise 4: Grupowe statystyki opisowe Exercise 5: Dodawanie zer Exercise 6: Ocena modeli z niejawnymi ocenami Exercise 7: Określ hiperparametry ALS Exercise 8: Budowanie modeli z niejawnymi ocenami Exercise 9: Uruchamianie modelu ALS z niejawnymi ocenami i walidacją krzyżową Exercise 10: Wyodrębnianie parametrów Exercise 11: Przegląd ocen binarnych i niejawnych Exercise 12: Wydajność modelu binarnego Exercise 13: Rekomendacje na podstawie danych binarnych Exercise 14: Podsumowanie kursu