Ensemble par gradient boosting
Le boosting est une technique où l'erreur d'un prédicteur est transmise au suivant de façon séquentielle. Le Gradient Boosting utilise une procédure de descente de gradient pour minimiser la log loss pour chaque arbre de classification ajouté un à un, qui, pris isolément, sont des modèles de décision faibles. Le Gradient Boosting pour la régression est similaire, mais emploie une fonction de perte comme l'erreur quadratique moyenne appliquée à la descente de gradient.
Dans cet exercice, vous allez créer un modèle Gradient Boosting Classifier et comparer sa performance à celle de la forêt aléatoire de l'exercice précédent, qui affichait une exactitude de 72,5 %.
Le DataFrame loan_data a déjà été séparé et est disponible dans votre espace de travail sous X_train, X_test, y_train et y_test.
Cette activité fait partie du cours
S'exercer aux questions d'entrevue en Machine Learning avec Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Import
from sklearn.____ import ____
from sklearn.____ import ____, ____, ____, ____, ____
# Instantiate
gb_model = ____(____=____, learning_rate=___,random_state=123)