НачатьНачать бесплатно

Генерация прогнозов и вычисление RMSE

Теперь, когда модель обучена на наших данных и настроена с помощью кросс-валидации, можно проверить её работу на тестовом датафрейме test. Для этого мы вычислим RMSE.

Обратите внимание: генерация тестовых прогнозов на этом наборе данных занимает несколько минут. Поэтому прогнозы уже сформированы заранее и доступны в виде датафрейма test_predictions. Для справки: они были получены с помощью следующего кода: test_predictions = best_model.transform(test).

Это упражнение является частью курса

Построение рекомендательных систем с помощью PySpark

Посмотреть курс

Инструкции к упражнению

  • Датафрейм test_predictions содержит прогнозы, которые наша ALS-модель с кросс-валидацией сформировала на основе тестовой выборки test, созданной ранее. Используйте метод .show(), чтобы просмотреть его и оценить, насколько точны прогнозы.
  • Воспользуйтесь объектом evaluator, созданным ранее, чтобы вычислить RMSE — для этого вызовите метод .evaluate() на test_predictions. Сохраните результат в переменную RMSE.
  • Выведите значение RMSE.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# View the predictions 
test_predictions.____()

# Calculate and print the RMSE of test_predictions
RMSE = evaluator.____(____)
print(____)
Редактировать и запускать код