Souhrnné statistiky MSD

Pojďme se seznámit s podmnožinou dat Million Songs Echo Nest Taste Profile. V tomto kurzu ji budeme jednoduše nazývat dataset Million Songs nebo msd. Zjistíme počet uživatelů a počet skladeb a podíváme se, které skladby mají v této podmnožině nejvíce přehrání.

Toto cvičení je součástí kurzu

Tvorba doporučovacích systémů s PySparkem

Zobrazit kurz

Pokyny k cvičení

Pomocí metody .show() se podívej, jak data vypadají.
Doplň kód pro počítání unikátních hodnot userId. Vyber sloupec userId a zavolej na něj .distinct() a .count().
Totéž teď udělej pro songId – tedy spočítej počet unikátních hodnot songId. Vyber sloupec songId a zavolej na něj .distinct() a .count().

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Look at the data
msd.____()

# Count the number of distinct userIds
user_count = msd.select("____").____().count()
print("Number of users: ", user_count)

# Count the number of distinct songIds
song_count = msd.select("____").____().count()
print("Number of songs: ", song_count)

Upravit a spustit kód