Lägg till nollor

Många rekommendationsmotorer använder implicita betyg. I många fall innehåller dessa datamängder inga beteendeantal för produkter som en användare aldrig har köpt. Då behöver du lägga till dem och fylla i nollor. Dataframe:n Z är tillhandahållen. Den innehåller userId, productId och num_purchases, som anger hur många gånger en användare har köpt en specifik produkt.

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

Övningsinstruktioner

Ta en titt på dataframe:n Z med metoden .show().
Extrahera de unika userId:n och productId:n från Z med metoden .distinct(). Spara resultaten i variablerna users respektive products.
Utför en .crossJoin() på dataframe:rna users och products. Spara resultatet i cj.
Gör ett "left"-join av cj mot den ursprungliga betygs-dataframe:n Z på ["userId", "productId"]. Anropa .fillna(0) på resultatet för att fylla i tomma värden med nollor. Spara resultatet i Z_expanded.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# View the data
Z.____()

# Extract distinct userIds and productIds
users = ____.select("____").____()
products = Z.____("productId").____()

# Cross join users and products
____ = users.____(products)

# Join cj and Z
____ = cj.join(Z, ["____", "____"], "left").____(0)

# View Z_expanded
____.show()

Redigera och kör kod

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Det här kapitlet visar hur kraftfulla rekommendationsmotorer kan vara och klargör skillnaderna mellan kollaborativa filtreringsmotorer och innehållsbaserade motorer, samt de olika typerna av implicit och explicit data som rekommendationsmotorer kan använda. Du lär dig också en effektiv metod för att hitta dolda egenskaper – så kallade latenta särdrag – som kanske inte är uppenbara i kunddatamängder.

Exercise 1: Varför lära sig bygga rekommendationsmotorer?Exercise 2: Upplev kraften hos en rekommendationsmotor Exercise 3: Rekommendationsmotorers kraft Exercise 4: Typer av rekommendationsmotorer och datatyper Exercise 5: Kollaborativ filtrering vs innehållsbaserad filtrering Exercise 6: Kollaborativ vs. innehållsbaserad filtrering, del II Exercise 7: Implicit vs explicit data Exercise 8: Datatyper för betyg Exercise 9: Användningsområden för rekommendationsmotorer Exercise 10: Alternativa användningsområden för rekommendationsmotorer.Exercise 11: Förstå latenta särdrag

I det här kapitlet går du igenom grundläggande begrepp inom matrixmultiplikation och matrixfaktorisering och fördjupar dig i hur ALS-algoritmen fungerar samt vilka argument och hyperparametrar den använder för att ge bästa möjliga rekommendationer. Du lär dig också viktiga tekniker för att förbereda dina data för ALS i Spark.

Exercise 1: Översikt över matrixmultiplikation Exercise 2: Matrismultiplikation Exercise 3: Matrismultiplikation del II Exercise 4: Översikt över matrisfaktorisering Exercise 5: Matrisdekomposition Exercise 6: Icke-negativ matrisnedbrytning Exercise 7: Hur ALS växlar för att generera förutsägelser Exercise 8: Uppskatta rekommendationer Exercise 9: RMSE när ALS alternerar Exercise 10: Dataförberedelse för Spark ALS Exercise 11: Rätt format och unika användare Exercise 12: Tilldela heltals-ID:n till filmer Exercise 13: ALS:s parametrar och hyperparametrar Exercise 14: Bygg en ALS-modell Exercise 15: Bygg en RMSE-utvärderare Exercise 16: Beräkna RMSE

I det här kapitlet introduceras du till MovieLens-datamängden. Du går igenom hur du bedömer dess lämplighet för ALS, bygger en fullständig korsvaliderad ALS-modell och lär dig hur du utvärderar modellens prestanda. Det här blir grunden för alla ALS-modeller du sedan bygger med PySpark.

Exercise 1: Introduktion till MovieLens-datamängden Exercise 2: Utforska MovieLens-data Exercise 3: Beräkna glesheten Exercise 4: Metoderna GroupBy och Filter Exercise 5: Sammanfattande statistik för MovieLens Exercise 6: Visa schema Exercise 7: Bygg en ALS-modell på MovieLens-data Exercise 8: Skapa tränings- och testuppdelningar och bygg din ALS-modell Exercise 9: Ange för Spark hur din ALS-modell ska finjusteras Exercise 10: Bygg din korsvalideringspipeline Exercise 11: Bästa modell och dess parametrar Exercise 12: Utvärdering av modellprestanda Exercise 13: Generera prediktioner och beräkna RMSE Exercise 14: Tolka RMSE Exercise 15: Är rekommendationerna rimliga

I de flesta verkliga situationer har du inte tillgång till "perfekta" kunddata för att bygga en ALS-modell. Det här kapitlet lär dig hur du använder kundbeteendedata för att härleda kundbetyg och sedan använda dessa härledda betyg för att bygga en ALS-rekommendationsmotor. Med hjälp av Million Songs-datamängden och en annan version av MovieLens-datamängden visar kapitlet hur du utnyttjar tillgängliga data för att bygga och utvärdera en rekommendationsmotor med ALS.

Exercise 1: Introduktion till Million Songs Dataset Exercise 2: Bekräfta förståelse för konceptet implicita betyg Exercise 3: Sammanfattande statistik för MSD Exercise 4: Grupperade sammanfattande statistikmått Exercise 5: Lägg till nollor

Aktuell övning

Exercise 6: Utvärdera modeller med implicita betyg Exercise 7: Ange hyperparametrar för ALS Exercise 8: Bygg implicita modeller Exercise 9: Kör en korsvaliderad implicit ALS-modell Exercise 10: Extrahera parametrar Exercise 11: Översikt över binära, implicita betyg Exercise 12: Binär modells prestanda Exercise 13: Rekommendationer från binär data Exercise 14: Kurssammanfattning