Ensemble par gradient boosting
Le boosting est une technique où l’erreur d’un prédicteur est transmise comme entrée au suivant, de manière séquentielle. Le Gradient Boosting utilise une procédure de descente de gradient pour minimiser la log-loss pour chaque nouvel arbre de classification ajouté un par un, qui, pris isolément, sont des modèles de décision faibles. Le Gradient Boosting pour la régression est similaire, mais utilise une fonction de perte comme l’erreur quadratique moyenne appliquée à la descente de gradient.
Dans cet exercice, vous allez créer un modèle Gradient Boosting Classifier et comparer ses performances au Random Forest de l’exercice précédent, qui avait une exactitude de 72,5 %.
Le DataFrame loan_data a déjà été scindé et est disponible dans votre espace de travail sous X_train, X_test, y_train et y_test.
Cet exercice fait partie du cours
S’entraîner aux questions d’entretien en Machine Learning avec Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import
from sklearn.____ import ____
from sklearn.____ import ____, ____, ____, ____, ____
# Instantiate
gb_model = ____(____=____, learning_rate=___,random_state=123)