Проверка понимания скрытых признаков

Здесь представлена матрица P. Её столбцы соответствуют фильмам, а строки — нескольким скрытым признакам. Используйте знание команд Spark, чтобы просмотреть матрицу P и попробовать определить, что могут означать эти скрытые признаки. После изучения матрицы обратите внимание на датафрейм Pi, который содержит приблизительную интерпретацию этих скрытых признаков. Проверьте, насколько ваши предположения оказались верны.

Это упражнение является частью курса

Построение рекомендательных систем с помощью PySpark

Посмотреть курс

Инструкции к упражнению

Изучите матрицу P с помощью метода .show().
Изучите матрицу Pi с помощью метода .show().

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Examine matrix P using the .show() method
P.____()

# Examine matrix Pi using the .show() method
Pi.____()

Редактировать и запускать код

Это упражнение является частью курса

Построение рекомендательных систем с помощью PySpark

SkillTag.level.advancedSkillTag.label

4.9+

Начать курс бесплатно

В этой главе вы узнаете, насколько мощными могут быть рекомендательные системы. Вы познакомитесь с ключевыми различиями между системами на основе коллаборативной фильтрации и контентными системами, а также с различными типами явных и неявных данных, которые используются в рекомендательных системах. Кроме того, вы освоите эффективный способ выявления скрытых признаков (латентных факторов), существование которых в пользовательских данных может быть неочевидным.

Exercise 1: Зачем учиться создавать рекомендательные системы?Exercise 2: Оцените возможности рекомендательной системы Exercise 3: Сила рекомендательных систем Exercise 4: Типы рекомендательных систем и типы данных Exercise 5: Коллаборативная и контентная фильтрация Exercise 6: Коллаборативная и контентная фильтрация — часть II Exercise 7: Неявные и явные данные Exercise 8: Типы данных рейтингов Exercise 9: Применение рекомендательных систем Exercise 10: Другие применения рекомендательных систем.Exercise 11: Проверка понимания скрытых признаков

Текущее упражнение

В этой главе вы повторите базовые концепции матричного умножения и матричной факторизации, а затем подробно разберёте принцип работы алгоритма Alternating Least Squares: какие аргументы и гиперпараметры он использует для формирования наилучших рекомендаций. Вы также изучите важные техники правильной подготовки данных для ALS в Spark.

Exercise 1: Обзор матричного умножения Exercise 2: Перемножение матриц Exercise 3: Умножение матриц: часть II Exercise 4: Обзор матричной факторизации Exercise 5: Матричная факторизация Exercise 6: Неотрицательное матричное разложение Exercise 7: Как ALS чередует шаги для формирования прогнозов Exercise 8: Оценка рекомендаций Exercise 9: RMSE в процессе итераций ALS Exercise 10: Подготовка данных для Spark ALS Exercise 11: Правильный формат и уникальные пользователи Exercise 12: Присвоение целочисленных идентификаторов фильмам Exercise 13: Параметры и гиперпараметры ALS Exercise 14: Построение модели ALS Exercise 15: Создание оценщика RMSE Exercise 16: Вычисление RMSE

В этой главе вы познакомитесь с набором данных MovieLens. Вы научитесь оценивать его пригодность для использования с ALS, построите полноценную модель ALS с кросс-валидацией и изучите способы оценки её качества. Это станет основой для всех последующих моделей ALS, которые вы будете строить с помощью PySpark.

Exercise 1: Знакомство с набором данных MovieLens Exercise 2: Изучение данных MovieLens Exercise 3: Вычисление разреженности Exercise 4: Методы GroupBy и Filter Exercise 5: Сводная статистика MovieLens Exercise 6: Просмотр схемы Exercise 7: Построение модели ALS на данных MovieLens Exercise 8: Создание обучающей и тестовой выборок и построение модели ALS Exercise 9: Настройте гиперпараметры ALS-модели для Spark Exercise 10: Построение конвейера перекрёстной проверки Exercise 11: Лучшая модель и её параметры Exercise 12: Оценка производительности модели Exercise 13: Генерация прогнозов и вычисление RMSE Exercise 14: Интерпретация RMSE Exercise 15: Насколько логичны рекомендации

В реальных ситуациях у вас далеко не всегда есть «идеальные» пользовательские данные для построения модели ALS. В этой главе вы научитесь использовать данные о поведении пользователей для «вывода» пользовательских оценок и применять эти оценки для построения рекомендательной системы на основе ALS. На примере набора данных Million Songs и ещё одной версии набора MovieLens вы увидите, как на основе имеющихся данных построить рекомендательную систему с использованием ALS и оценить её качество.

Exercise 1: Знакомство с набором данных Million Songs Exercise 2: Проверка понимания концепции неявных оценок Exercise 3: Сводная статистика MSD Exercise 4: Сгруппированная сводная статистика Exercise 5: Добавление нулей Exercise 6: Оценка моделей с неявными оценками Exercise 7: Укажите гиперпараметры ALS Exercise 8: Построение моделей на основе неявных данных Exercise 9: Запуск неявной ALS-модели с перекрёстной проверкой Exercise 10: Извлечение параметров Exercise 11: Обзор бинарных и неявных оценок Exercise 12: Качество бинарной модели Exercise 13: Рекомендации на основе бинарных данных Exercise 14: Итоги курса