XG Boost

I den här övningen får du öva på ytterligare en boostningsteknik. XGBoost kallas ibland för maskininlärningens nya drottning och är ett optimerat, distribuerat gradientboostingpaket som har tagit hela branschen med storm. Det är därför troligt att du stöter på frågor om XGBoost i en maskininlärningsintervju – eller att det åtminstone är värt att ta upp i något av dina svar för att visa att du känner till aktuella och mycket precisa algoritmer.

Argumentet learning_rate=0.1 anger stegstorleken i varje iteration när algoritmen söker efter det globala minimumet, och max_depth styr storleken (djupet) på beslutsträden – här satt till 3.

Alla relevanta paket har importerats åt dig: pandas som pd, train_test_split från sklearn.model_selection, accuracy_score från sklearn.linear_model, LogisticRegression från sklearn.linear_model, BaggingClassifier och AdaBoostClassifier från sklearn.ensemble, samt XGBClassifier från xgboost.

DataFrame:en loan_data är redan uppdelad i X_train, X_test, y_train och y_test.