Un modelo de gradient boosting
Ahora vamos a ajustar un modelo de gradient boosting (GB). Se ha dicho que un modelo lineal es como un Toyota Camry, y GB es como un helicóptero Black Hawk. GB puede superar a los random forests, pero no siempre lo consigue. Esto se conoce como el teorema del “no free lunch”, que viene a decir que debemos probar muchos modelos distintos para cada problema.
GB es similar a los modelos de random forest, pero la diferencia es que los árboles se construyen de forma sucesiva. En cada iteración, el siguiente árbol ajusta los errores residuales del árbol anterior para mejorar el ajuste.
Por ahora no buscaremos hiperparámetros: ya se han ajustado por ti.
Este ejercicio forma parte del curso
Machine Learning para finanzas con Python
Instrucciones del ejercicio
- Crea un objeto
GradientBoostingRegressorcon los hiperparámetros que ya están definidos para ti. - Ajusta el modelo
gbrcontrain_featuresytrain_targets. - Imprime las puntuaciones para las características y los objetivos de entrenamiento y de prueba.
ejercicio interactivo práctico
Prueba este ejercicio completando este código de ejemplo.
from sklearn.ensemble import GradientBoostingRegressor
# Create GB model -- hyperparameters have already been searched for you
gbr = ____(max_features=4,
learning_rate=0.01,
n_estimators=200,
subsample=0.6,
random_state=42)
gbr.fit(____)
print(gbr.score(train_features, train_targets))
____