MSD-samenvattingsstatistieken

Maak kennis met de Million Songs Echo Nest Taste Profile-deelverzameling. Voor deze cursus noemen we dit gewoon de Million Songs-gegevensset of msd. Laten we het aantal gebruikers en het aantal nummers bepalen. Kijk ook welke nummers in deze subset het vaakst zijn afgespeeld.

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

Oefeninstructies

Gebruik de methode .show() om te zien hoe de data eruitziet.
Maak de code af om het aantal unieke userIds te tellen. Selecteer de kolom userId en roep vervolgens .distinct() en .count() aan.
Doe nu hetzelfde voor de songIds: tel het aantal unieke songIds. Selecteer de kolom songId en roep daarop .distinct() en .count() aan.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

# Look at the data
msd.____()

# Count the number of distinct userIds
user_count = msd.select("____").____().count()
print("Number of users: ", user_count)

# Count the number of distinct songIds
song_count = msd.select("____").____().count()
print("Number of songs: ", song_count)

Code bewerken en uitvoeren

Deze oefening maakt deel uit van de cursus

Aanbevelingssystemen bouwen met PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Begin gratis met de cursus

In dit hoofdstuk zie je hoe krachtig aanbevelingssystemen kunnen zijn en leer je het verschil tussen collaborative filtering-systemen en contentgebaseerde systemen, evenals de verschillende typen impliciete en expliciete gegevens die aanbevelingssystemen kunnen gebruiken. Je ontdekt ook een krachtige manier om verborgen kenmerken (latente kenmerken) bloot te leggen waarvan je misschien niet eens wist dat ze in klantgegevenssets aanwezig zijn.

Exercise 1: Waarom leren hoe je aanbevelingssystemen bouwt?Exercise 2: Ontdek de kracht van een aanbevelingsmachine Exercise 3: De kracht van aanbevelingssystemen Exercise 4: Soorten recommendation engines en datatypes Exercise 5: Collaborative filtering vs content-based filtering Exercise 6: Collaborative vs content-based filtering deel II Exercise 7: Impliciete vs expliciete data Exercise 8: Gegevenstypen van beoordelingen Exercise 9: Toepassingen van aanbevelingssystemen Exercise 10: Andere toepassingen van aanbevelingssystemen.Exercise 11: Begrip van latente features bevestigen

In dit hoofdstuk herhaal je de basisbegrippen van matrixvermenigvuldiging en matrixfactorisatie, en duik je in hoe het Alternating Least Squares-algoritme werkt en welke argumenten en hyperparameters het gebruikt om de best mogelijke aanbevelingen te geven. Je leert ook belangrijke technieken om je gegevens in Spark goed voor te bereiden voor ALS.

Exercise 1: Overzicht van matrixvermenigvuldiging Exercise 2: Matrixvermenigvuldiging Exercise 3: Matrixvermenigvuldiging deel II Exercise 4: Overzicht van matrixfactorisatie Exercise 5: Matrixfactorisatie Exercise 6: Niet-negatieve matrixfactorisatie Exercise 7: Hoe ALS afwisselt om voorspellingen te genereren Exercise 8: Aanbevelingen inschatten Exercise 9: RMSE terwijl ALS alterneert Exercise 10: Data voorbereiden voor Spark ALS Exercise 11: Correct formaat en unieke gebruikers Exercise 12: Gehele-ID's toekennen aan films Exercise 13: ALS-parameters en -hyperparameters Exercise 14: Bouw een ALS-model Exercise 15: Bouw een RMSE-evaluator Exercise 16: RMSE ophalen

In dit hoofdstuk maak je kennis met de MovieLens-gegevensset. Je bekijkt hoe je de geschiktheid ervan voor ALS beoordeelt, bouwt er een volledig gecrossvalideerd ALS-model op, en leert hoe je de prestaties evalueert. Dit vormt de basis voor alle volgende ALS-modellen die je met PySpark bouwt.

Exercise 1: Introductie tot de MovieLens-gegevensset Exercise 2: De MovieLens-gegevens bekijken Exercise 3: Sparsity berekenen Exercise 4: De methodes GroupBy en Filter Exercise 5: Samenvattende statistieken van MovieLens Exercise 6: Schema bekijken Exercise 7: ALS-model bouwen met MovieLens-gegevens Exercise 8: Maak train/test-splits en bouw je ALS-model Exercise 9: Vertel Spark hoe je je ALS-model wilt afstemmen Exercise 10: Bouw je crossvalidatie-pipeline Exercise 11: Beste model en modelparameters Exercise 12: Evaluatie van modelprestaties Exercise 13: Genereer voorspellingen en bereken de RMSE Exercise 14: De RMSE interpreteren Exercise 15: Zijn aanbevelingen logisch

In de meeste praktijksituaties heb je geen "perfecte" klantgegevens beschikbaar om een ALS-model te bouwen. In dit hoofdstuk leer je hoe je klantgedragsgegevens gebruikt om klantbeoordelingen te "afleiden" en die afgeleide beoordelingen in te zetten om een ALS-aanbevelingssysteem te bouwen. Met de Million Songs-gegevensset en een andere versie van de MovieLens-gegevensset leer je hoe je met de gegevens die je hebt een aanbevelingssysteem met ALS bouwt en de prestaties ervan evalueert.

Exercise 1: Introductie van de Million Songs Dataset Exercise 2: Bevestig je begrip van impliciete ratingconcepten Exercise 3: MSD-samenvattingsstatistieken

Huidige oefening

Exercise 4: Gegroepeerde samenvattingsstatistieken Exercise 5: Nullen toevoegen Exercise 6: Implicit ratings-modellen evalueren Exercise 7: Geef ALS-hyperparameters op Exercise 8: Impliciete modellen bouwen Exercise 9: Een cross-validated implicit ALS-model uitvoeren Exercise 10: Parameters uitlezen Exercise 11: Overzicht van binaire, impliciete beoordelingen Exercise 12: Prestaties van het binaire model Exercise 13: Aanbevelingen op basis van binaire data Exercise 14: Cursusoverzicht