1. Apprendre
    2. /
  2. Cours
    3. /
  3. Amorçage de gradient avancé avec XGBoost
Connected

Exercice

Ajuster eta

Il est temps de vous exercer à régler d'autres hyperparamètres d'XGBoost et d'observer leur effet sur la performance du modèle! Vous commencerez par ajuster "eta", aussi appelé le taux d'apprentissage (learning rate).

Dans XGBoost, le taux d'apprentissage est un paramètre qui peut varier entre 0 et 1. Des valeurs plus élevées de "eta" pénalisent plus fortement les poids des caractéristiques, ce qui entraîne une régularisation beaucoup plus marquée.

Instructions

100 XP
  • Créez une liste nommée eta_vals pour stocker les valeurs "eta" suivantes : 0.001, 0.01 et 0.1.
  • Parcourez votre liste eta_vals à l'aide d'une boucle for.
  • À chaque itération de la boucle for, fixez la clé "eta" de params à curr_val. Ensuite, effectuez une validation croisée à 3 plis avec arrêt hâtif (5 itérations), 10 itérations de rehaussement (boosting), une métrique "rmse" et un seed de 123. Assurez-vous que la sortie soit un DataFrame.
  • Ajoutez la valeur de la RMSE de la dernière itération à la liste best_rmse.