Побудуйте свій конвеєр крос-валідації
Тепер, коли ми маємо дані, розбиття на train/test, модель і значення гіперпараметрів, налаштуймо в Spark крос-валідацію нашої моделі, щоб він міг знайти найкращу комбінацію гіперпараметрів і повернути її нам.
Ця вправа є частиною курсу
Створення рушіїв рекомендацій у PySpark
Інструкції до вправи
- Створіть
CrossValidatorпід назвоюcvз нашою моделлюalsяк estimator, установившиestimatorParamMapsнаparam_grid, який ви щойно зібрали. Повідомте Spark, щоevaluator, який слід використати, — це"evaluator", який ми створили раніше. ВстановітьnumFoldsна 5. - Підтвердьте, що наш
cvстворено, надрукувавшиcv.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)
# Confirm cv was built
print(____)