Créez votre pipeline de validation croisée

Maintenant que nous avons nos données, nos découpes train/test, notre modèle et nos valeurs d’hyperparamètres, indiquons à Spark comment valider notre modèle en validation croisée pour qu’il trouve la meilleure combinaison d’hyperparamètres et nous la renvoie.

Cet exercice fait partie du cours

<cours>Créer des moteurs de recommandation avec PySpark</cours>

Voir le cours

Instructions de l’exercice

Créez un CrossValidator nommé cv avec notre modèle als comme estimateur, en définissant estimatorParamMaps sur le param_grid que vous venez de construire. Indiquez à Spark que l’evaluator à utiliser est l’"evaluator" que nous avons construit précédemment. Définissez numFolds à 5.
Vérifiez que notre cv a été créé en affichant cv.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)

# Confirm cv was built
print(____)

Modifier et exécuter le code