Boosting

이전 연습 문제에서 배깅을 사용해 앙상블 기법을 시작해 보셨죠. Machine Learning 면접에서는 한 가지 이상의 앙상블 기법을 시도하거나 설명해 보라는 질문을 받을 수 있어요.

이번에는 Boosting을 연습해 보겠습니다. Boosting은 각 학습기에 모든 데이터를 사용해 학습하지만, 이전 학습기들이 잘못 분류한 인스턴스에 더 높은 가중치를 부여하여 이후 학습기들이 그 인스턴스들에 더 집중하도록 합니다. 그 결과 편향이 감소한 모델을 만들 수 있어요.

필요한 패키지는 모두 임포트되어 있습니다: pandas는 pd로, sklearn.model_selection의 train_test_split, sklearn.linear_model의 accuracy_score, sklearn.linear_model의 LogisticRegression, 그리고 sklearn.ensemble의 BaggingClassifier와 AdaBoostClassifier.

loan_data 데이터프레임은 이미 X_train, X_test, y_train, y_test로 분할되어 있어요.