Boosting

Pada latihan sebelumnya, Anda mulai mempraktikkan teknik ensemble dengan menggunakan bagging. Dalam wawancara Machine Learning, Anda mungkin diminta untuk mencoba atau membahas lebih dari satu teknik ensemble.

Di sini, Anda akan berlatih Boosting yang menggunakan seluruh data untuk melatih setiap learner, tetapi instance yang salah klasifikasi oleh learner sebelumnya diberi bobot lebih tinggi agar learner berikutnya lebih memfokuskan pelatihan pada instance tersebut. Pendekatan ini menghasilkan model dengan bias yang lebih rendah.

Semua paket yang relevan telah diimpor untuk Anda: pandas sebagai pd, train_test_split dari sklearn.model_selection, accuracy_score dari sklearn.linear_model, LogisticRegression dari sklearn.linear_model, serta BaggingClassifier dan AdaBoostClassifier dari sklearn.ensemble.

DataFrame loan_data sudah dipecah menjadi X_train, X_test, y_train, dan y_test.