XGBoost

この演習では、もう一つのブースティング手法を練習します。Machine Learning の“新たな女王”とも呼ばれる XGBoost は、最適化された分散型の勾配ブースティングパッケージで、今や世界中で使われています。Machine Learning の面接で質問される可能性が高く、最先端で高精度なアルゴリズムの知識を示すうえでも、回答の中で触れられると有利です。

引数 learning_rate=0.1 は、大域的最小値を探索する各反復でのステップの大きさを指定し、max_depth は決定木のサイズ（深さ）を制御します。ここでは 3 に設定します。

必要なパッケージはすべてインポート済みです： pandas は pd、sklearn.model_selection から train_test_split、sklearn.linear_model から accuracy_score と LogisticRegression、sklearn.ensemble から BaggingClassifier と AdaBoostClassifier、そして xgboost から XGBClassifier。

loan_data の DataFrame はすでに X_train、X_test、y_train、y_test に分割されています。