CommencezCommencez gratuitement

Créez votre pipeline de validation croisée

Maintenant que nous avons nos données, nos divisions entraînement/test, notre modèle et nos valeurs d'hyperparamètres, indiquons à Spark comment effectuer la validation croisée de notre modèle afin qu'il trouve la meilleure combinaison d'hyperparamètres et nous la retourne.

Cette activité fait partie du cours

Créer des moteurs de recommandation avec PySpark

Voir le cours

Instructions de l’exercice

  • Créez un CrossValidator nommé cv avec notre modèle als comme estimateur, en définissant estimatorParamMaps sur le param_grid que vous venez de créer. Indiquez à Spark que l'evaluator à utiliser est l'"evaluator" que nous avons construit précédemment. Réglez numFolds à 5.
  • Confirmez que notre cv a été créé en affichant cv.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Build cross validation using CrossValidator
____ = CrossValidator(estimator=____, estimatorParamMaps=____, evaluator=____, numFolds=____)

# Confirm cv was built
print(____)
Modifier et exécuter le code