ПочатиПочніть безкоштовно

Описова статистика MSD

Давайте ознайомимося з піднабором даних Million Songs Echo Nest Taste Profile. У цьому курсі ми називатимемо його просто набором даних Million Songs або msd. Отримаємо кількість користувачів і кількість пісень. Також подивімося, які пісні мають найбільше прослуховувань у цьому піднаборі.

Ця вправа є частиною курсу

Створення рушіїв рекомендацій у PySpark

Переглянути курс

Інструкції до вправи

  • Використайте метод .show(), щоб подивитися, як виглядають дані.
  • Доповніть код, щоб підрахувати кількість різних userId. Виберіть стовпець userId, потім викличте .distinct() і .count().
  • Тепер зробіть те саме для songId, тобто підрахуйте кількість різних songId. Виберіть стовпець songId і викличте для нього .distinct() і .count().

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Look at the data
msd.____()

# Count the number of distinct userIds
user_count = msd.select("____").____().count()
print("Number of users: ", user_count)

# Count the number of distinct songIds
song_count = msd.select("____").____().count()
print("Number of songs: ", song_count)
Редагувати та запускати код