CommencezCommencez gratuitement

Statistiques sommaires de MSD

Familiarisons-nous avec le sous-ensemble de données Million Songs Echo Nest Taste Profile. Aux fins de ce cours, nous l'appellerons simplement le jeu de données Million Songs ou msd. Obtenons le nombre d'utilisatrices et d'utilisateurs ainsi que le nombre de chansons. Voyons aussi quelles chansons ont le plus d'écoutes dans ce sous-ensemble.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Voir le cours

Instructions de l’exercice

  • Utilisez la méthode .show() pour voir à quoi ressemblent les données.
  • Complétez le code pour compter le nombre de userId distincts. Sélectionnez la colonne userId, puis appelez .distinct() et .count().
  • Faites maintenant la même chose pour les songId, donc comptez le nombre de songId distincts. Sélectionnez la colonne songId et appelez .distinct() et .count() dessus.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Look at the data
msd.____()

# Count the number of distinct userIds
user_count = msd.select("____").____().count()
print("Number of users: ", user_count)

# Count the number of distinct songIds
song_count = msd.select("____").____().count()
print("Number of songs: ", song_count)
Modifier et exécuter le code