Model gradient boosting
Teraz dopasujemy model gradient boosting (GB). Mówi się, że model liniowy to jak Toyota Camry, a GB to jak śmigłowiec Black Hawk. GB może przewyższać lasy losowe, choć nie zawsze tak jest. To ilustracja twierdzenia o braku darmowego obiadu – zawsze warto wypróbować wiele różnych modeli dla każdego problemu.
GB działa podobnie do lasów losowych, ale różni się tym, że drzewa są budowane kolejno. W każdej iteracji kolejne drzewo dopasowuje się do błędów resztowych poprzedniego drzewa, aby poprawić jakość modelu.
Na razie nie będziemy przeszukiwać hiperparametrów – zostały one już za ciebie dobrane.
To ćwiczenie jest częścią kursu
Uczenie maszynowe w finansach z Pythonem
Instrukcje do ćwiczenia
- Utwórz obiekt
GradientBoostingRegressorz hiperparametrami, które zostały już za ciebie ustawione. - Dopasuj model
gbrdotrain_featuresitrain_targets. - Wyświetl wyniki dla cech i wartości docelowych ze zbioru treningowego oraz testowego.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
from sklearn.ensemble import GradientBoostingRegressor
# Create GB model -- hyperparameters have already been searched for you
gbr = ____(max_features=4,
learning_rate=0.01,
n_estimators=200,
subsample=0.6,
random_state=42)
gbr.fit(____)
print(gbr.score(train_features, train_targets))
____