Gradient boosting-ensemble
Boosting is een techniek waarbij de fout van de ene voorspeller sequentieel als input wordt doorgegeven aan de volgende. Gradient Boosting gebruikt een gradient descent-procedure om de log loss te minimaliseren voor elke volgende classificatieboom die één voor één wordt toegevoegd en op zichzelf zwakke beslissingsmodellen zijn. Gradient Boosting voor regressie werkt vergelijkbaar, maar gebruikt een verliesfunctie zoals de mean squared error toegepast binnen gradient descent.
In deze oefening maak je een Gradient Boosting Classifier-model en vergelijk je de prestaties met het Random Forest uit de vorige oefening, dat een nauwkeurigheidsscore van 72,5% had.
De loan_data DataFrame is al opgesplitst en beschikbaar in je werkruimte als X_train, X_test, y_train en y_test.
Deze oefening maakt deel uit van de cursus
Machine Learning-sollicitatievragen oefenen in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Import
from sklearn.____ import ____
from sklearn.____ import ____, ____, ____, ____, ____
# Instantiate
gb_model = ____(____=____, learning_rate=___,random_state=123)