Un modèle de gradient boosting
Nous allons maintenant ajuster un modèle de gradient boosting (GB). On dit parfois qu'un modèle linéaire, c'est une Toyota Camry, et que GB, c'est un hélicoptère Black Hawk. GB peut surpasser les forêts aléatoires, mais pas toujours. C'est ce que l'on appelle le théorème de l'absence de repas gratuit : il faut tester de nombreux modèles pour chaque problème.
GB est proche des modèles de forêts aléatoires, mais la différence, c'est que les arbres sont construits successivement. À chaque itération, l'arbre suivant ajuste les erreurs résiduelles de l'arbre précédent afin d'améliorer l'ajustement.
Pour l'instant, nous ne chercherons pas nos hyperparamètres — ils ont déjà été optimisés pour vous.
Cet exercice fait partie du cours
<cours>Machine Learning pour la finance en Python</cours>Instructions de l’exercice
- Créez un objet
GradientBoostingRegressoravec les hyperparamètres déjà définis pour vous. - Ajustez le modèle
gbrsurtrain_featuresettrain_targets. - Affichez les scores pour les caractéristiques et cibles d'entraînement et de test.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from sklearn.ensemble import GradientBoostingRegressor
# Create GB model -- hyperparameters have already been searched for you
gbr = ____(max_features=4,
learning_rate=0.01,
n_estimators=200,
subsample=0.6,
random_state=42)
gbr.fit(____)
print(gbr.score(train_features, train_targets))
____