НачатьНачать бесплатно

Создание оценщика RMSE

Теперь, когда вы умеете обучать модель на тренировочных данных и генерировать прогнозы для тестовой выборки, нужно научиться оценивать качество модели. Для этого мы создадим evaluator. В Spark оценщики можно строить различными способами. В нашем случае понадобится regressionEvaluator, который вычисляет RMSE. После его создания мы сможем обучить модель на данных и получить прогнозы.

Это упражнение является частью курса

Построение рекомендательных систем с помощью PySpark

Посмотреть курс

Инструкции к упражнению

  • Импортируйте необходимый пакет RegressionEvaluator из класса pyspark.ml.evaluation.
  • Заполните код evaluator, указав metric name равным "rmse". Задайте labelCol как название столбца в данных ratings, содержащего оценки (используйте метод ratings.columns, чтобы посмотреть названия столбцов), а prediction — как имя столбца прогнозов: "prediction".
  • Убедитесь, что evaluator создан корректно, извлекая каждый из трёх параметров. Для этого выполните следующие 3 строки кода, каждую внутри оператора print:
    • evaluator.getMetricName()
    • evaluator.getLabelCol()
    • evaluator.getPredictionCol()

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import RegressionEvaluator
from pyspark.ml.evaluation import ____

# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")

# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())
Редактировать и запускать код