XGBoost
In deze oefening ga je nog een boosting-techniek oefenen. XGBoost, ook wel de nieuwe koningin van Machine Learning genoemd, is een geoptimaliseerd, gedistribueerd gradient boosting-pakket dat "de wereld verovert!" Het is dus waarschijnlijk dat je erover wordt gevraagd in een Machine Learning-interview of, op z'n minst, dat het handig is om het te bespreken in je antwoorden om te laten zien dat je op de hoogte bent van geavanceerde en zeer nauwkeurige algoritmen.
Het argument learning_rate=0.1 bepaalt de grootte van de stap in elke iteratie bij het zoeken naar het globale minimum en max_depth stuurt de grootte (diepte) van de beslissingsbomen aan, hier 3.
Alle relevante pakketten zijn al voor je geïmporteerd:
pandas als pd, train_test_split uit sklearn.model_selection, accuracy_score uit sklearn.linear_model, LogisticRegression uit sklearn.linear_model, BaggingClassifier en AdaBoostClassifier uit sklearn.ensemble, en XGBClassifier uit xgboost.
De DataFrame loan_data is al opgesplitst in X_train, X_test, y_train en y_test.
Deze oefening maakt deel uit van de cursus
Machine Learning-sollicitatievragen oefenen in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Instantiate
xgb = ____(____=____, random_state=123, learning_rate=0.1, max_depth=3)