Förstå latenta särdrag

Matrisen P finns tillgänglig här. Dess kolumner representerar filmer och dess rader representerar ett antal latenta särdrag. Använd dina kunskaper om Spark-kommandon för att visa matrisen P och se om du kan avgöra vad några av de latenta särdragen kan representera. Undersök sedan dataramen Pi, som innehåller en ungefärlig bild av vad dessa latenta särdrag kan motsvara. Se om du kom nära.

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

Övningsinstruktioner

Undersök matrisen P med metoden .show().
Undersök matrisen Pi med metoden .show().

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Examine matrix P using the .show() method
P.____()

# Examine matrix Pi using the .show() method
Pi.____()

Redigera och kör kod

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Det här kapitlet visar hur kraftfulla rekommendationsmotorer kan vara och klargör skillnaderna mellan kollaborativa filtreringsmotorer och innehållsbaserade motorer, samt de olika typerna av implicit och explicit data som rekommendationsmotorer kan använda. Du lär dig också en effektiv metod för att hitta dolda egenskaper – så kallade latenta särdrag – som kanske inte är uppenbara i kunddatamängder.

Exercise 1: Varför lära sig bygga rekommendationsmotorer?Exercise 2: Upplev kraften hos en rekommendationsmotor Exercise 3: Rekommendationsmotorers kraft Exercise 4: Typer av rekommendationsmotorer och datatyper Exercise 5: Kollaborativ filtrering vs innehållsbaserad filtrering Exercise 6: Kollaborativ vs. innehållsbaserad filtrering, del II Exercise 7: Implicit vs explicit data Exercise 8: Datatyper för betyg Exercise 9: Användningsområden för rekommendationsmotorer Exercise 10: Alternativa användningsområden för rekommendationsmotorer.Exercise 11: Förstå latenta särdrag

Aktuell övning

I det här kapitlet går du igenom grundläggande begrepp inom matrixmultiplikation och matrixfaktorisering och fördjupar dig i hur ALS-algoritmen fungerar samt vilka argument och hyperparametrar den använder för att ge bästa möjliga rekommendationer. Du lär dig också viktiga tekniker för att förbereda dina data för ALS i Spark.

Exercise 1: Översikt över matrixmultiplikation Exercise 2: Matrismultiplikation Exercise 3: Matrismultiplikation del II Exercise 4: Översikt över matrisfaktorisering Exercise 5: Matrisdekomposition Exercise 6: Icke-negativ matrisnedbrytning Exercise 7: Hur ALS växlar för att generera förutsägelser Exercise 8: Uppskatta rekommendationer Exercise 9: RMSE när ALS alternerar Exercise 10: Dataförberedelse för Spark ALS Exercise 11: Rätt format och unika användare Exercise 12: Tilldela heltals-ID:n till filmer Exercise 13: ALS:s parametrar och hyperparametrar Exercise 14: Bygg en ALS-modell Exercise 15: Bygg en RMSE-utvärderare Exercise 16: Beräkna RMSE

I det här kapitlet introduceras du till MovieLens-datamängden. Du går igenom hur du bedömer dess lämplighet för ALS, bygger en fullständig korsvaliderad ALS-modell och lär dig hur du utvärderar modellens prestanda. Det här blir grunden för alla ALS-modeller du sedan bygger med PySpark.

Exercise 1: Introduktion till MovieLens-datamängden Exercise 2: Utforska MovieLens-data Exercise 3: Beräkna glesheten Exercise 4: Metoderna GroupBy och Filter Exercise 5: Sammanfattande statistik för MovieLens Exercise 6: Visa schema Exercise 7: Bygg en ALS-modell på MovieLens-data Exercise 8: Skapa tränings- och testuppdelningar och bygg din ALS-modell Exercise 9: Ange för Spark hur din ALS-modell ska finjusteras Exercise 10: Bygg din korsvalideringspipeline Exercise 11: Bästa modell och dess parametrar Exercise 12: Utvärdering av modellprestanda Exercise 13: Generera prediktioner och beräkna RMSE Exercise 14: Tolka RMSE Exercise 15: Är rekommendationerna rimliga

I de flesta verkliga situationer har du inte tillgång till "perfekta" kunddata för att bygga en ALS-modell. Det här kapitlet lär dig hur du använder kundbeteendedata för att härleda kundbetyg och sedan använda dessa härledda betyg för att bygga en ALS-rekommendationsmotor. Med hjälp av Million Songs-datamängden och en annan version av MovieLens-datamängden visar kapitlet hur du utnyttjar tillgängliga data för att bygga och utvärdera en rekommendationsmotor med ALS.

Exercise 1: Introduktion till Million Songs Dataset Exercise 2: Bekräfta förståelse för konceptet implicita betyg Exercise 3: Sammanfattande statistik för MSD Exercise 4: Grupperade sammanfattande statistikmått Exercise 5: Lägg till nollor Exercise 6: Utvärdera modeller med implicita betyg Exercise 7: Ange hyperparametrar för ALS Exercise 8: Bygg implicita modeller Exercise 9: Kör en korsvaliderad implicit ALS-modell Exercise 10: Extrahera parametrar Exercise 11: Översikt över binära, implicita betyg Exercise 12: Binär modells prestanda Exercise 13: Rekommendationer från binär data Exercise 14: Kurssammanfattning