Rätt format och unika användare

Ta en titt på dataramen R. Lägg märke till att den är i konventionellt eller "brett" format med en annan film i varje kolumn. Observera också att User-kolumnen och filmnamnen inte är i heltalsformat. Följ stegen för att förbereda dessa data korrekt för ALS.

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

Övningsinstruktioner

Importera paketet monotonically_increasing_id från pyspark.sql.functions och visa dataramen R med hjälp av metoden .show().
Använd funktionen to_long() för att konvertera dataramen R till ett "långt" format. Kalla den nya dataramen för ratings.
Skapa en dataram med namnet users som innehåller alla .distinct() användare från dataramen och partitionera om den till en partition med hjälp av metoden .coalesce(1).
Använd metoden monotonically_increasing_id() inuti withColumn() för att skapa en ny kolumn i dataramen users som innehåller ett unikt heltal för varje användare. Kalla kolumnen för userId. Se till att anropa metoden .persist() på den slutliga dataramen så att de nya heltals-ID:na bevaras.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Import monotonically_increasing_id and show R
from pyspark.sql.functions import ____
R.show()

# Use the to_long() function to convert the dataframe to the "long" format.
ratings = to_long(____)
ratings.show()

# Get unique users and repartition to 1 partition
users = ratings.select("____").____().____()

# Create a new column of unique integers called "userId" in the users dataframe.
users = users.withColumn("____", monotonically_increasing_id()).____()
users.show()

Redigera och kör kod

Den här övningen är en del av kursen

Bygg rekommendationsmotorer med PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Starta kursen gratis

Det här kapitlet visar hur kraftfulla rekommendationsmotorer kan vara och klargör skillnaderna mellan kollaborativa filtreringsmotorer och innehållsbaserade motorer, samt de olika typerna av implicit och explicit data som rekommendationsmotorer kan använda. Du lär dig också en effektiv metod för att hitta dolda egenskaper – så kallade latenta särdrag – som kanske inte är uppenbara i kunddatamängder.

Exercise 1: Varför lära sig bygga rekommendationsmotorer?Exercise 2: Upplev kraften hos en rekommendationsmotor Exercise 3: Rekommendationsmotorers kraft Exercise 4: Typer av rekommendationsmotorer och datatyper Exercise 5: Kollaborativ filtrering vs innehållsbaserad filtrering Exercise 6: Kollaborativ vs. innehållsbaserad filtrering, del II Exercise 7: Implicit vs explicit data Exercise 8: Datatyper för betyg Exercise 9: Användningsområden för rekommendationsmotorer Exercise 10: Alternativa användningsområden för rekommendationsmotorer.Exercise 11: Förstå latenta särdrag

I det här kapitlet går du igenom grundläggande begrepp inom matrixmultiplikation och matrixfaktorisering och fördjupar dig i hur ALS-algoritmen fungerar samt vilka argument och hyperparametrar den använder för att ge bästa möjliga rekommendationer. Du lär dig också viktiga tekniker för att förbereda dina data för ALS i Spark.

Exercise 1: Översikt över matrixmultiplikation Exercise 2: Matrismultiplikation Exercise 3: Matrismultiplikation del II Exercise 4: Översikt över matrisfaktorisering Exercise 5: Matrisdekomposition Exercise 6: Icke-negativ matrisnedbrytning Exercise 7: Hur ALS växlar för att generera förutsägelser Exercise 8: Uppskatta rekommendationer Exercise 9: RMSE när ALS alternerar Exercise 10: Dataförberedelse för Spark ALS Exercise 11: Rätt format och unika användare

Aktuell övning

Exercise 12: Tilldela heltals-ID:n till filmer Exercise 13: ALS:s parametrar och hyperparametrar Exercise 14: Bygg en ALS-modell Exercise 15: Bygg en RMSE-utvärderare Exercise 16: Beräkna RMSE

I det här kapitlet introduceras du till MovieLens-datamängden. Du går igenom hur du bedömer dess lämplighet för ALS, bygger en fullständig korsvaliderad ALS-modell och lär dig hur du utvärderar modellens prestanda. Det här blir grunden för alla ALS-modeller du sedan bygger med PySpark.

Exercise 1: Introduktion till MovieLens-datamängden Exercise 2: Utforska MovieLens-data Exercise 3: Beräkna glesheten Exercise 4: Metoderna GroupBy och Filter Exercise 5: Sammanfattande statistik för MovieLens Exercise 6: Visa schema Exercise 7: Bygg en ALS-modell på MovieLens-data Exercise 8: Skapa tränings- och testuppdelningar och bygg din ALS-modell Exercise 9: Ange för Spark hur din ALS-modell ska finjusteras Exercise 10: Bygg din korsvalideringspipeline Exercise 11: Bästa modell och dess parametrar Exercise 12: Utvärdering av modellprestanda Exercise 13: Generera prediktioner och beräkna RMSE Exercise 14: Tolka RMSE Exercise 15: Är rekommendationerna rimliga

I de flesta verkliga situationer har du inte tillgång till "perfekta" kunddata för att bygga en ALS-modell. Det här kapitlet lär dig hur du använder kundbeteendedata för att härleda kundbetyg och sedan använda dessa härledda betyg för att bygga en ALS-rekommendationsmotor. Med hjälp av Million Songs-datamängden och en annan version av MovieLens-datamängden visar kapitlet hur du utnyttjar tillgängliga data för att bygga och utvärdera en rekommendationsmotor med ALS.

Exercise 1: Introduktion till Million Songs Dataset Exercise 2: Bekräfta förståelse för konceptet implicita betyg Exercise 3: Sammanfattande statistik för MSD Exercise 4: Grupperade sammanfattande statistikmått Exercise 5: Lägg till nollor Exercise 6: Utvärdera modeller med implicita betyg Exercise 7: Ange hyperparametrar för ALS Exercise 8: Bygg implicita modeller Exercise 9: Kör en korsvaliderad implicit ALS-modell Exercise 10: Extrahera parametrar Exercise 11: Översikt över binära, implicita betyg Exercise 12: Binär modells prestanda Exercise 13: Rekommendationer från binär data Exercise 14: Kurssammanfattning