Boosting

ในแบบฝึกหัดที่แล้ว คุณได้เริ่มต้นใช้เทคนิค ensemble ด้วย bagging ในการสัมภาษณ์ด้านการเรียนรู้ของเครื่อง ผู้สัมภาษณ์อาจให้ลองใช้หรืออภิปรายเทคนิค ensemble มากกว่าหนึ่งแบบ

แบบฝึกหัดนี้จะฝึก Boosting ซึ่งใช้ข้อมูลทั้งหมดในการฝึกแต่ละ learner แต่จะให้น้ำหนักมากขึ้นกับตัวอย่างที่ learner ก่อนหน้าทำนายผิด เพื่อให้ learner ถัดไปโฟกัสกับตัวอย่างเหล่านั้นมากขึ้น ผลลัพธ์คือโมเดลที่มี bias ลดลง

แพ็กเกจที่จำเป็นทั้งหมดได้ถูก import ให้แล้ว ได้แก่ pandas as pd, train_test_split จาก sklearn.model_selection, accuracy_score จาก sklearn.linear_model, LogisticRegression จาก sklearn.linear_model และ BaggingClassifier กับ AdaBoostClassifier จาก sklearn.ensemble

DataFrame loan_data ถูกแบ่งเป็น X_train, X_test, y_train และ y_test เรียบร้อยแล้ว