ブースティング

前の演習では、バギングを使ってアンサンブル手法に入門しました。Machine Learning の面接では、複数のアンサンブル手法を試したり、説明したりするよう促されることがあります。

ここでは、ブースティングを練習します。ブースティングでは各学習器の学習に全データを使用しますが、直前の学習器で誤分類されたインスタンスに重みを大きく付与し、次の学習器がそれらにより注目して学習するようにします。これにより、バイアスが小さいモデルが得られます。

必要なパッケージはすべてインポート済みです。 pandas は pd、sklearn.model_selection から train_test_split、sklearn.linear_model から accuracy_score、sklearn.linear_model から LogisticRegression、そして sklearn.ensemble から BaggingClassifier と AdaBoostClassifier です。

loan_data の DataFrame はすでに X_train、X_test、y_train、y_test に分割されています。