ПочатиПочніть безкоштовно

Обʼєднання з оцінками

У відеовправі ви бачили, як застосовувати трансформації в PySpark, обʼєднуючи таблиці film і ratings, щоб створити новий стовпець із середньою оцінкою на клієнта. У цій вправі ви створите ще більше взаємозвʼязків між таблицями film і ratings, використавши ті самі прийоми, що й у відео, щоб обчислити середню оцінку для кожного фільму.

PySpark DataFrame із фільмами film_df і PySpark DataFrame з оцінками rating_df доступні у вашому робочому середовищі.

Ця вправа є частиною курсу

Вступ до Data Engineering

Переглянути курс

Інструкції до вправи

  • Візьміть середню оцінку для кожного film_id і присвойте результат змінній ratings_per_film_df.
  • Завершіть вираз .join(), щоб обʼєднати за стовпцем film_id.
  • Покажіть перші 5 результатів отриманого DataFrame.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Use groupBy and mean to aggregate the column
ratings_per_film_df = rating_df.____('____').____('____')

# Join the tables using the film_id column
film_df_with_ratings = film_df.join(
    ratings_per_film_df,
    film_df.film_id==____
)

# Show the 5 first results
print(film_df_with_ratings.____)
Редагувати та запускати код