Plutôt que d’essayer de choisir manuellement le nombre optimal de tours de boosting, vous pouvez demander à XGBoost de sélectionner automatiquement ce nombre dans xgb.cv(). Cela se fait grâce à une technique appelée early stopping.

L’early stopping consiste à évaluer le modèle XGBoost après chaque tour de boosting sur un jeu de validation (hold-out) et à arrêter la création de nouveaux tours (ce qui met fin plus tôt à l’entraînement) si la métrique du jeu de validation ("rmse" dans notre cas) ne s’améliore pas pendant un certain nombre de tours. Ici, vous utiliserez le paramètre early_stopping_rounds dans xgb.cv() avec un nombre potentiellement élevé de tours de boosting (50). Gardez à l’esprit que si la métrique du jeu de validation s’améliore en continu jusqu’à atteindre num_boost_rounds, alors aucun early stopping n’a lieu.

Ici, le DMatrix et le dictionnaire de paramètres ont été préparés pour vous. Votre tâche est d’utiliser la validation croisée avec early stopping. À vous de jouer !

Limites de la recherche par grille et de la recherche aléatoire

Create Your Free Account