Correct formaat en unieke gebruikers

Bekijk de R-dataframe. Merk op dat deze in het conventionele of ‘brede’ formaat staat, met een andere film in elke kolom. Let ook op dat de namen van User en films niet in een geheelgetalformaat staan. Volg de stappen om deze data goed voor te bereiden voor ALS.

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

Oefeninstructies

Importeer het pakket monotonically_increasing_id uit pyspark.sql.functions en bekijk de R-dataframe met de methode .show().
Gebruik de functie to_long() om de R-dataframe om te zetten naar een ‘lange’ dataframe. Noem de nieuwe dataframe ratings.
Maak een dataframe users met alle .distinct() gebruikers uit de dataframe en repartitioneer de dataframe naar één partitie met de methode .coalesce(1).
Gebruik de methode monotonically_increasing_id() binnen withColumn() om een nieuwe kolom in de users-dataframe te maken met een unieke integer voor elke gebruiker. Noem deze kolom userId. Zorg dat je de .persist()-methode aanroept op de uiteindelijke dataframe zodat de nieuwe gehele ID’s behouden blijven.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Import monotonically_increasing_id and show R
from pyspark.sql.functions import ____
R.show()

# Use the to_long() function to convert the dataframe to the "long" format.
ratings = to_long(____)
ratings.show()

# Get unique users and repartition to 1 partition
users = ratings.select("____").____().____()

# Create a new column of unique integers called "userId" in the users dataframe.
users = users.withColumn("____", monotonically_increasing_id()).____()
users.show()

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Begin gratis met de cursus

In dit hoofdstuk zie je hoe krachtig aanbevelingssystemen kunnen zijn en leer je het verschil tussen collaborative filtering-systemen en contentgebaseerde systemen, evenals de verschillende typen impliciete en expliciete gegevens die aanbevelingssystemen kunnen gebruiken. Je ontdekt ook een krachtige manier om verborgen kenmerken (latente kenmerken) bloot te leggen waarvan je misschien niet eens wist dat ze in klantgegevenssets aanwezig zijn.

Exercise 1: Waarom leren hoe je aanbevelingssystemen bouwt?Exercise 2: Ontdek de kracht van een aanbevelingsmachine Exercise 3: De kracht van aanbevelingssystemen Exercise 4: Soorten recommendation engines en datatypes Exercise 5: Collaborative filtering vs content-based filtering Exercise 6: Collaborative vs content-based filtering deel II Exercise 7: Impliciete vs expliciete data Exercise 8: Gegevenstypen van beoordelingen Exercise 9: Toepassingen van aanbevelingssystemen Exercise 10: Andere toepassingen van aanbevelingssystemen.Exercise 11: Begrip van latente features bevestigen

In dit hoofdstuk herhaal je de basisbegrippen van matrixvermenigvuldiging en matrixfactorisatie, en duik je in hoe het Alternating Least Squares-algoritme werkt en welke argumenten en hyperparameters het gebruikt om de best mogelijke aanbevelingen te geven. Je leert ook belangrijke technieken om je gegevens in Spark goed voor te bereiden voor ALS.

Exercise 1: Overzicht van matrixvermenigvuldiging Exercise 2: Matrixvermenigvuldiging Exercise 3: Matrixvermenigvuldiging deel II Exercise 4: Overzicht van matrixfactorisatie Exercise 5: Matrixfactorisatie Exercise 6: Niet-negatieve matrixfactorisatie Exercise 7: Hoe ALS afwisselt om voorspellingen te genereren Exercise 8: Aanbevelingen inschatten Exercise 9: RMSE terwijl ALS alterneert Exercise 10: Data voorbereiden voor Spark ALS Exercise 11: Correct formaat en unieke gebruikers

Huidige oefening

Exercise 12: Gehele-ID's toekennen aan films Exercise 13: ALS-parameters en -hyperparameters Exercise 14: Bouw een ALS-model Exercise 15: Bouw een RMSE-evaluator Exercise 16: RMSE ophalen

In dit hoofdstuk maak je kennis met de MovieLens-gegevensset. Je bekijkt hoe je de geschiktheid ervan voor ALS beoordeelt, bouwt er een volledig gecrossvalideerd ALS-model op, en leert hoe je de prestaties evalueert. Dit vormt de basis voor alle volgende ALS-modellen die je met PySpark bouwt.

Exercise 1: Introductie tot de MovieLens-gegevensset Exercise 2: De MovieLens-gegevens bekijken Exercise 3: Sparsity berekenen Exercise 4: De methodes GroupBy en Filter Exercise 5: Samenvattende statistieken van MovieLens Exercise 6: Schema bekijken Exercise 7: ALS-model bouwen met MovieLens-gegevens Exercise 8: Maak train/test-splits en bouw je ALS-model Exercise 9: Vertel Spark hoe je je ALS-model wilt afstemmen Exercise 10: Bouw je crossvalidatie-pipeline Exercise 11: Beste model en modelparameters Exercise 12: Evaluatie van modelprestaties Exercise 13: Genereer voorspellingen en bereken de RMSE Exercise 14: De RMSE interpreteren Exercise 15: Zijn aanbevelingen logisch

In de meeste praktijksituaties heb je geen "perfecte" klantgegevens beschikbaar om een ALS-model te bouwen. In dit hoofdstuk leer je hoe je klantgedragsgegevens gebruikt om klantbeoordelingen te "afleiden" en die afgeleide beoordelingen in te zetten om een ALS-aanbevelingssysteem te bouwen. Met de Million Songs-gegevensset en een andere versie van de MovieLens-gegevensset leer je hoe je met de gegevens die je hebt een aanbevelingssysteem met ALS bouwt en de prestaties ervan evalueert.

Exercise 1: Introductie van de Million Songs Dataset Exercise 2: Bevestig je begrip van impliciete ratingconcepten Exercise 3: MSD-samenvattingsstatistieken Exercise 4: Gegroepeerde samenvattingsstatistieken Exercise 5: Nullen toevoegen Exercise 6: Implicit ratings-modellen evalueren Exercise 7: Geef ALS-hyperparameters op Exercise 8: Impliciete modellen bouwen Exercise 9: Een cross-validated implicit ALS-model uitvoeren Exercise 10: Parameters uitlezen Exercise 11: Overzicht van binaire, impliciete beoordelingen Exercise 12: Prestaties van het binaire model Exercise 13: Aanbevelingen op basis van binaire data Exercise 14: Cursusoverzicht