Типы данных рейтингов

Маркус смотрит много фильмов: документальные, про супергероев, классику и драмы. Опираясь на предыдущий опыт работы со Spark, используйте датафрейм markus_ratings, который содержит данные о том, сколько раз Маркус смотрел фильмы разных жанров. Подумайте, являются ли эти данные неявными или явными рейтингами. Используйте метод groupBy(), чтобы определить, какой жанр имеет наибольший рейтинг — это поможет понять, какие рекомендации ALS может сгенерировать для Маркуса.

Это упражнение является частью курса

Построение рекомендательных систем с помощью PySpark

Посмотреть курс

Инструкции к упражнению

Используйте метод groupBy(), чтобы сгруппировать датафрейм markus_ratings по полю "Genre".
Примените метод .sum(), чтобы получить общее количество просмотренных фильмов для каждого жанра.
Не забудьте добавить метод .show() в конце, чтобы отобразить результаты.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Group the data by "Genre"
markus_ratings.____("____").____().____()

Редактировать и запускать код

Это упражнение является частью курса

Построение рекомендательных систем с помощью PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

В этой главе вы узнаете, насколько мощными могут быть рекомендательные системы. Вы познакомитесь с ключевыми различиями между системами на основе коллаборативной фильтрации и контентными системами, а также с различными типами явных и неявных данных, которые используются в рекомендательных системах. Кроме того, вы освоите эффективный способ выявления скрытых признаков (латентных факторов), существование которых в пользовательских данных может быть неочевидным.

Exercise 1: Зачем учиться создавать рекомендательные системы?Exercise 2: Оцените возможности рекомендательной системы Exercise 3: Сила рекомендательных систем Exercise 4: Типы рекомендательных систем и типы данных Exercise 5: Коллаборативная и контентная фильтрация Exercise 6: Коллаборативная и контентная фильтрация — часть II Exercise 7: Неявные и явные данные Exercise 8: Типы данных рейтингов

Текущее упражнение

Exercise 9: Применение рекомендательных систем Exercise 10: Другие применения рекомендательных систем.Exercise 11: Проверка понимания скрытых признаков

В этой главе вы повторите базовые концепции матричного умножения и матричной факторизации, а затем подробно разберёте принцип работы алгоритма Alternating Least Squares: какие аргументы и гиперпараметры он использует для формирования наилучших рекомендаций. Вы также изучите важные техники правильной подготовки данных для ALS в Spark.

Exercise 1: Обзор матричного умножения Exercise 2: Перемножение матриц Exercise 3: Умножение матриц: часть II Exercise 4: Обзор матричной факторизации Exercise 5: Матричная факторизация Exercise 6: Неотрицательное матричное разложение Exercise 7: Как ALS чередует шаги для формирования прогнозов Exercise 8: Оценка рекомендаций Exercise 9: RMSE в процессе итераций ALS Exercise 10: Подготовка данных для Spark ALS Exercise 11: Правильный формат и уникальные пользователи Exercise 12: Присвоение целочисленных идентификаторов фильмам Exercise 13: Параметры и гиперпараметры ALS Exercise 14: Построение модели ALS Exercise 15: Создание оценщика RMSE Exercise 16: Вычисление RMSE

В этой главе вы познакомитесь с набором данных MovieLens. Вы научитесь оценивать его пригодность для использования с ALS, построите полноценную модель ALS с кросс-валидацией и изучите способы оценки её качества. Это станет основой для всех последующих моделей ALS, которые вы будете строить с помощью PySpark.

Exercise 1: Знакомство с набором данных MovieLens Exercise 2: Изучение данных MovieLens Exercise 3: Вычисление разреженности Exercise 4: Методы GroupBy и Filter Exercise 5: Сводная статистика MovieLens Exercise 6: Просмотр схемы Exercise 7: Построение модели ALS на данных MovieLens Exercise 8: Создание обучающей и тестовой выборок и построение модели ALS Exercise 9: Настройте гиперпараметры ALS-модели для Spark Exercise 10: Построение конвейера перекрёстной проверки Exercise 11: Лучшая модель и её параметры Exercise 12: Оценка производительности модели Exercise 13: Генерация прогнозов и вычисление RMSE Exercise 14: Интерпретация RMSE Exercise 15: Насколько логичны рекомендации

В реальных ситуациях у вас далеко не всегда есть «идеальные» пользовательские данные для построения модели ALS. В этой главе вы научитесь использовать данные о поведении пользователей для «вывода» пользовательских оценок и применять эти оценки для построения рекомендательной системы на основе ALS. На примере набора данных Million Songs и ещё одной версии набора MovieLens вы увидите, как на основе имеющихся данных построить рекомендательную систему с использованием ALS и оценить её качество.

Exercise 1: Знакомство с набором данных Million Songs Exercise 2: Проверка понимания концепции неявных оценок Exercise 3: Сводная статистика MSD Exercise 4: Сгруппированная сводная статистика Exercise 5: Добавление нулей Exercise 6: Оценка моделей с неявными оценками Exercise 7: Укажите гиперпараметры ALS Exercise 8: Построение моделей на основе неявных данных Exercise 9: Запуск неявной ALS-модели с перекрёстной проверкой Exercise 10: Извлечение параметров Exercise 11: Обзор бинарных и неявных оценок Exercise 12: Качество бинарной модели Exercise 13: Рекомендации на основе бинарных данных Exercise 14: Итоги курса