Bootstrap Aggregation (Bagging)

ในบทเรียนที่แล้ว คุณได้ลองใช้โมเดล classification เบื้องต้นด้วยการนำ logistic regression มาใช้กับข้อมูลที่ผ่านการทำ feature engineering แล้ว ในการสัมภาษณ์ด้าน machine learning นั้น การรู้จัก ensemble model ถือเป็นข้อได้เปรียบ เนื่องจากเทคนิคนี้รวม weak learner หลายตัวเข้าด้วยกันเพื่อสร้าง strong learner ที่ให้ความแม่นยำสูงขึ้น

ในแบบฝึกหัดนี้ จะเริ่มต้นด้วยการใช้ bagging classifier ซึ่งใช้เทคนิคการสุ่มตัวอย่างแบบมีการคืนค่า (sampling with replacement) เพื่อรักษาความสุ่มและลด overfitting โดยใช้ฟังก์ชันจากโมดูล sklearn.ensemble ที่ได้เรียนในวิดีโอ

แพ็กเกจที่จำเป็นทั้งหมดได้ถูก import ไว้ให้แล้ว ได้แก่: pandas ในชื่อ pd, train_test_split จาก sklearn.model_selection, accuracy_score จาก sklearn.metrics, LogisticRegression จาก sklearn.linear_model และ BaggingClassifier กับ AdaBoostClassifier จาก sklearn.ensemble

DataFrame loan_data ถูกแบ่งเป็น X_train, X_test, y_train และ y_test ไว้เรียบร้อยแล้ว