Budowanie modeli z niejawnymi ocenami

Masz już określone wszystkie wartości hiperparametrów – czas pozwolić Sparkowi zbudować wystarczającą liczbę modeli, by przetestować każdą ich kombinację. W tym celu przygotowano pętlę for. Postępuj zgodnie z poniższymi instrukcjami, aby automatycznie tworzyć modele ALS. W kolejnych ćwiczeniach uruchomisz te modele na zbiorach testowych i sprawdzisz, który radzi sobie najlepiej.

Algorytm ALS jest już zaimportowany. Listy utworzone w poprzednim ćwiczeniu (ranks, maxIters, regParams, alphas) są już dostępne.

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

Instrukcje do ćwiczenia

Przygotowano pustą listę o nazwie model_list. Pętla for utworzy model dla każdej kombinacji hiperparametrów i doda go do model_list.
Uzupełnij pętlę for, odwołując się do zawartości każdej listy: r reprezentuje elementy listy ranks, mi – elementy listy maxIters, rp – elementy listy regParams, a a – elementy listy alphas.
Wyświetl len(model_list) oraz model_list, aby upewnić się, że wszystkie modele zostały utworzone. Długość listy powinna być równa iloczynowi długości każdej z powyższych list hiperparametrów. Możesz też uruchomić przygotowaną dodatkową weryfikację, żeby mieć pewność.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# For loop will automatically create and store ALS models
for r in ____:
    for mi in ____:
        for rp in ____:
            for a in ____:
                model_list.append(ALS(userCol= "userId", itemCol= "songId", ratingCol= "num_plays", rank = r, maxIter = mi, regParam = rp, alpha = a, coldStartStrategy="drop", nonnegative = True, implicitPrefs = True))

# Print the model list, and the length of model_list
print (model_list, "Length of model_list: ", len(____))

# Validate
len(model_list) == (len(ranks)*len(maxIters)*len(regParams)*len(alphas))

Edytuj i uruchom kod

To ćwiczenie jest częścią kursu

Budowanie silników rekomendacji w PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Rozpocznij kurs za darmo

Ten rozdział pokaże ci, jak duży potencjał mają silniki rekomendacji. Poznasz ważne różnice między silnikami opartymi na filtrowaniu kolaboratywnym a silnikami opartymi na treści, a także różne rodzaje danych niejawnych i jawnych, z których korzystają silniki rekomendacji. Nauczysz się też skutecznej metody wykrywania ukrytych cech (cech latentnych), o których istnieniu możesz nawet nie wiedzieć w swoich zbiorach danych klientów.

Exercise 1: Dlaczego warto nauczyć się budować silniki rekomendacji?Exercise 2: Przekonaj się, jak działa silnik rekomendacji Exercise 3: Siła silników rekomendacji Exercise 4: Typy silników rekomendacji i typy danych Exercise 5: Filtrowanie kolaboratywne a filtrowanie treściowe Exercise 6: Filtrowanie kolaboratywne a filtrowanie oparte na treści – część II Exercise 7: Dane niejawne a jawne Exercise 8: Typy danych z ocenami Exercise 9: Zastosowania silników rekomendacji Exercise 10: Alternatywne zastosowania silników rekomendacji.Exercise 11: Sprawdź rozumienie ukrytych cech

W tym rozdziale przypomnisz sobie podstawowe pojęcia związane z mnożeniem i faktoryzacją macierzy, a następnie zagłębisz się w sposób działania algorytmu Alternating Least Squares – jego argumenty i hiperparametry pozwalające uzyskać jak najlepsze rekomendacje. Poznasz też ważne techniki właściwego przygotowania danych pod kątem ALS w Spark.

Exercise 1: Omówienie mnożenia macierzy Exercise 2: Mnożenie macierzy Exercise 3: Mnożenie macierzy – część II Exercise 4: Omówienie faktoryzacji macierzy Exercise 5: Faktoryzacja macierzy Exercise 6: Nieujemna faktoryzacja macierzy Exercise 7: Jak ALS naprzemiennie generuje prognozy Exercise 8: Szacowanie rekomendacji Exercise 9: RMSE podczas iteracji ALS Exercise 10: Przygotowanie danych dla Spark ALS Exercise 11: Poprawny format i unikalni użytkownicy Exercise 12: Przypisywanie identyfikatorów całkowitoliczbowych do filmów Exercise 13: Parametry i hiperparametry ALS Exercise 14: Zbuduj model ALS Exercise 15: Budowanie ewaluatora RMSE Exercise 16: Oblicz RMSE

W tym rozdziale zapoznasz się ze zbiorem danych MovieLens. Przejdziesz przez ocenę jego przydatności do ALS, zbudujesz kompletny model ALS z walidacją krzyżową, a następnie nauczysz się oceniać jego wydajność. To będzie podstawa dla wszystkich kolejnych modeli ALS tworzonych w PySpark.

Exercise 1: Wprowadzenie do zbioru danych MovieLens Exercise 2: Przeglądanie danych MovieLens Exercise 3: Oblicz rzadkość macierzy Exercise 4: Metody GroupBy i Filter Exercise 5: Statystyki podsumowujące zbioru MovieLens Exercise 6: Podgląd schematu Exercise 7: Budowa modelu ALS na danych MovieLens Exercise 8: Tworzenie podziałów na zbiór testowy i treningowy oraz budowanie modelu ALS Exercise 9: Powiedz Sparkowi, jak dostroić model ALS Exercise 10: Zbuduj potok krzyżowej walidacji Exercise 11: Najlepszy model i jego parametry Exercise 12: Ocena wydajności modelu Exercise 13: Generowanie predykcji i obliczanie RMSE Exercise 14: Interpretacja RMSE Exercise 15: Czy rekomendacje mają sens

W większości rzeczywistych sytuacji nie dysponujesz „idealnymi" danymi klientów do zbudowania modelu ALS. Ten rozdział nauczy cię, jak wykorzystać dane o zachowaniach klientów do „wnioskowania" o ich ocenach, a następnie użyć tych wnioskowanych ocen do zbudowania silnika rekomendacji ALS. Korzystając ze zbioru Million Songs Dataset oraz innej wersji zbioru MovieLens, rozdział pokaże ci, jak na podstawie dostępnych danych zbudować silnik rekomendacji oparty na ALS i ocenić jego wydajność.

Exercise 1: Wprowadzenie do zbioru danych Million Songs Exercise 2: Sprawdź rozumienie koncepcji ocen niejawnych Exercise 3: Statystyki podsumowujące zbioru MSD Exercise 4: Grupowe statystyki opisowe Exercise 5: Dodawanie zer Exercise 6: Ocena modeli z niejawnymi ocenami Exercise 7: Określ hiperparametry ALS Exercise 8: Budowanie modeli z niejawnymi ocenami

Bieżące ćwiczenie

Exercise 9: Uruchamianie modelu ALS z niejawnymi ocenami i walidacją krzyżową Exercise 10: Wyodrębnianie parametrów Exercise 11: Przegląd ocen binarnych i niejawnych Exercise 12: Wydajność modelu binarnego Exercise 13: Rekomendacje na podstawie danych binarnych Exercise 14: Podsumowanie kursu