Model gradient boosting
Teď natrénujeme model gradient boosting (GB). Říká se, že lineární model je jako Toyota Camry, zatímco GB je jako vrtulník Black Hawk. GB má potenciál předčit náhodné lesy, ale nemusí to tak být vždy. Tohle je takzvaný theorem o neexistenci bezplatného oběda — jinými slovy, pro každý problém bychom měli vyzkoušet co nejvíce různých modelů.
GB je podobný modelům náhodného lesa, ale s tím rozdílem, že stromy se budují postupně za sebou. V každé iteraci nový strom přizpůsobuje zbytkové chyby předchozího stromu, aby zlepšil celkový fit.
Zatím hyperparametry ladit nebudeme — jsou za tebe už nastaveny.
Toto cvičení je součástí kurzu
Machine Learning for Finance in Python
Pokyny k cvičení
- Vytvoř objekt
GradientBoostingRegressors hyperparametry, které jsou již přednastaveny. - Natrénuj model
gbrnatrain_featuresatrain_targets. - Vypiš skóre pro trénovací i testovací příznaky a cíle.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
from sklearn.ensemble import GradientBoostingRegressor
# Create GB model -- hyperparameters have already been searched for you
gbr = ____(max_features=4,
learning_rate=0.01,
n_estimators=200,
subsample=0.6,
random_state=42)
gbr.fit(____)
print(gbr.score(train_features, train_targets))
____