Створення оцінювача RMSE
Тепер, коли ви вмієте навчати модель на тренувальних даних і створювати передбачення для тесту, потрібно оцінити, наскільки добре працює ваша модель. Для цього ми створимо evaluator. Оцінювачі в Spark можна налаштовувати різними способами. У нашому випадку нам потрібен regressionEvaluator, який обчислює RMSE. Після того як ми створимо regressionEvaluator, зможемо навчити модель на наших даних і згенерувати передбачення.
Ця вправа є частиною курсу
Створення рушіїв рекомендацій у PySpark
Інструкції до вправи
- Імпортуйте потрібний пакет
RegressionEvaluatorіз класуpyspark.ml.evaluation. - Доповніть код
evaluator, вказавшиmetric nameяк"rmse". ЗадайтеlabelColназвою стовпця в наших данихratings, який містить оцінки (скористайтеся методомratings.columns, щоб переглянути назви стовпців), і встановіть назву стовпця з передбаченнями як"prediction". - Переконайтеся, що
evaluatorстворено коректно, витягнувши з нього кожен із трьох параметрів. Зробіть це, запустивши такі 3 рядки коду, кожен усередині оператора print:evaluator.getMetricName()evaluator.getLabelCol()evaluator.getPredictionCol()
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Import RegressionEvaluator
from pyspark.ml.evaluation import ____
# Complete the evaluator code
evaluator = RegressionEvaluator(metricName="____", labelCol="____", predictionCol="____")
# Extract the 3 parameters
print(evaluator.get____())
print(evaluator.get____())
print(evaluator.get____())