Un model de gradient boosting
Acum vom antrena un model de gradient boosting (GB). S-a spus că un model liniar este ca un Toyota Camry, iar GB este ca un elicopter Black Hawk. GB are potențialul de a depăși pădurile aleatoare, dar nu o face întotdeauna. Acesta este teorema „no free lunch", care ne reamintește că ar trebui să încercăm mereu mai multe modele diferite pentru fiecare problemă.
GB este similar cu modelele de păduri aleatoare, dar diferența constă în faptul că arborii sunt construiți succesiv. La fiecare iterație, următorul arbore se ajustează pe erorile reziduale ale arborelui anterior, pentru a îmbunătăți predicția.
Deocamdată nu vom căuta hiperparametrii – aceasta a fost deja făcută pentru tine.
Acest exercițiu face parte din cursul
Machine Learning pentru finanțe în Python
Instrucțiuni pentru exercițiu
- Creează un obiect
GradientBoostingRegressorcu hiperparametrii care au fost deja setați pentru tine. - Antrenează modelul
gbrpetrain_featuresșitrain_targets. - Afișează scorurile pentru caracteristicile și țintele de antrenament și de testare.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
from sklearn.ensemble import GradientBoostingRegressor
# Create GB model -- hyperparameters have already been searched for you
gbr = ____(max_features=4,
learning_rate=0.01,
n_estimators=200,
subsample=0.6,
random_state=42)
gbr.fit(____)
print(gbr.score(train_features, train_targets))
____