Sammanfattande statistik för MSD

Nu ska vi bekanta oss med datadelmängden Million Songs Echo Nest Taste Profile. I den här kursen kallar vi den helt enkelt Million Songs-datamängden eller msd. Vi tar reda på antalet användare och antalet låtar, och tittar även på vilka låtar som har flest spelningar i den här delmängden.

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

Övningsinstruktioner

Använd metoden .show() för att se hur datan ser ut.
Komplettera koden för att räkna antalet distinkta userId:n. Välj kolumnen userId och anropa sedan .distinct() och .count().
Gör nu samma sak för songId:n – räkna alltså antalet distinkta songId:n. Välj kolumnen songId och anropa .distinct() och .count() på den.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Look at the data
msd.____()

# Count the number of distinct userIds
user_count = msd.select("____").____().count()
print("Number of users: ", user_count)

# Count the number of distinct songIds
song_count = msd.select("____").____().count()
print("Number of songs: ", song_count)

Redigera och kör kod

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Det här kapitlet visar hur kraftfulla rekommendationsmotorer kan vara och klargör skillnaderna mellan kollaborativa filtreringsmotorer och innehållsbaserade motorer, samt de olika typerna av implicit och explicit data som rekommendationsmotorer kan använda. Du lär dig också en effektiv metod för att hitta dolda egenskaper – så kallade latenta särdrag – som kanske inte är uppenbara i kunddatamängder.

Exercise 1: Varför lära sig bygga rekommendationsmotorer?Exercise 2: Upplev kraften hos en rekommendationsmotor Exercise 3: Rekommendationsmotorers kraft Exercise 4: Typer av rekommendationsmotorer och datatyper Exercise 5: Kollaborativ filtrering vs innehållsbaserad filtrering Exercise 6: Kollaborativ vs. innehållsbaserad filtrering, del II Exercise 7: Implicit vs explicit data Exercise 8: Datatyper för betyg Exercise 9: Användningsområden för rekommendationsmotorer Exercise 10: Alternativa användningsområden för rekommendationsmotorer.Exercise 11: Förstå latenta särdrag

I det här kapitlet går du igenom grundläggande begrepp inom matrixmultiplikation och matrixfaktorisering och fördjupar dig i hur ALS-algoritmen fungerar samt vilka argument och hyperparametrar den använder för att ge bästa möjliga rekommendationer. Du lär dig också viktiga tekniker för att förbereda dina data för ALS i Spark.

Exercise 1: Översikt över matrixmultiplikation Exercise 2: Matrismultiplikation Exercise 3: Matrismultiplikation del II Exercise 4: Översikt över matrisfaktorisering Exercise 5: Matrisdekomposition Exercise 6: Icke-negativ matrisnedbrytning Exercise 7: Hur ALS växlar för att generera förutsägelser Exercise 8: Uppskatta rekommendationer Exercise 9: RMSE när ALS alternerar Exercise 10: Dataförberedelse för Spark ALS Exercise 11: Rätt format och unika användare Exercise 12: Tilldela heltals-ID:n till filmer Exercise 13: ALS:s parametrar och hyperparametrar Exercise 14: Bygg en ALS-modell Exercise 15: Bygg en RMSE-utvärderare Exercise 16: Beräkna RMSE

I det här kapitlet introduceras du till MovieLens-datamängden. Du går igenom hur du bedömer dess lämplighet för ALS, bygger en fullständig korsvaliderad ALS-modell och lär dig hur du utvärderar modellens prestanda. Det här blir grunden för alla ALS-modeller du sedan bygger med PySpark.

Exercise 1: Introduktion till MovieLens-datamängden Exercise 2: Utforska MovieLens-data Exercise 3: Beräkna glesheten Exercise 4: Metoderna GroupBy och Filter Exercise 5: Sammanfattande statistik för MovieLens Exercise 6: Visa schema Exercise 7: Bygg en ALS-modell på MovieLens-data Exercise 8: Skapa tränings- och testuppdelningar och bygg din ALS-modell Exercise 9: Ange för Spark hur din ALS-modell ska finjusteras Exercise 10: Bygg din korsvalideringspipeline Exercise 11: Bästa modell och dess parametrar Exercise 12: Utvärdering av modellprestanda Exercise 13: Generera prediktioner och beräkna RMSE Exercise 14: Tolka RMSE Exercise 15: Är rekommendationerna rimliga

I de flesta verkliga situationer har du inte tillgång till "perfekta" kunddata för att bygga en ALS-modell. Det här kapitlet lär dig hur du använder kundbeteendedata för att härleda kundbetyg och sedan använda dessa härledda betyg för att bygga en ALS-rekommendationsmotor. Med hjälp av Million Songs-datamängden och en annan version av MovieLens-datamängden visar kapitlet hur du utnyttjar tillgängliga data för att bygga och utvärdera en rekommendationsmotor med ALS.

Exercise 1: Introduktion till Million Songs Dataset Exercise 2: Bekräfta förståelse för konceptet implicita betyg Exercise 3: Sammanfattande statistik för MSD

Aktuell övning

Exercise 4: Grupperade sammanfattande statistikmått Exercise 5: Lägg till nollor Exercise 6: Utvärdera modeller med implicita betyg Exercise 7: Ange hyperparametrar för ALS Exercise 8: Bygg implicita modeller Exercise 9: Kör en korsvaliderad implicit ALS-modell Exercise 10: Extrahera parametrar Exercise 11: Översikt över binära, implicita betyg Exercise 12: Binär modells prestanda Exercise 13: Rekommendationer från binär data Exercise 14: Kurssammanfattning