XG Boost

V tomto cvičení si procvičíš další techniku boostingu. XGBoost – přezdívaný novou královnou Machine Learningu – je optimalizovaný distribuovaný balíček pro gradient boosting, který "dobývá svět!" Je velmi pravděpodobné, že na něj narazíš při Machine Learning pohovoru, nebo ti znalost tohoto vysoce přesného a moderního algoritmu pomůže zapůsobit v odpovědích.

Argument learning_rate=0.1 určuje velikost kroku v každé iteraci při hledání globálního minima a max_depth řídí hloubku rozhodovacích stromů – zde je nastavena na 3.

Všechny potřebné balíčky jsou již naimportované: pandas jako pd, train_test_split z sklearn.model_selection, accuracy_score z sklearn.linear_model, LogisticRegression z sklearn.linear_model, BaggingClassifier a AdaBoostClassifier z sklearn.ensemble a XGBClassifier z xgboost.

DataFrame loan_data je již rozdělený na X_train, X_test, y_train a y_test.