XG Boost

ในแบบฝึกหัดนี้ จะได้ฝึกใช้เทคนิค boosting อีกแบบหนึ่ง XGBoost ถูกขนานนามว่าเป็น "ราชินีคนใหม่" แห่งวงการ Machine Learning เป็นแพ็กเกจ gradient boosting แบบกระจายที่ผ่านการปรับให้มีประสิทธิภาพสูง และกำลังได้รับความนิยมอย่างแพร่หลาย การที่คำถามเกี่ยวกับ XGBoost ปรากฏในการสัมภาษณ์ด้าน Machine Learning นั้นเป็นเรื่องที่เป็นไปได้สูง หรืออย่างน้อยที่สุด การพูดถึงมันในคำตอบของคุณก็แสดงให้เห็นว่าคุณมีความรู้เกี่ยวกับอัลกอริทึมที่ล้ำสมัยและแม่นยำสูง

อาร์กิวเมนต์ learning_rate=0.1 กำหนดขนาดของก้าวในแต่ละ iteration ระหว่างการค้นหา global minimum ส่วน max_depth ควบคุมขนาด (ความลึก) ของ decision tree ซึ่งในที่นี้กำหนดไว้ที่ 3

แพ็กเกจที่เกี่ยวข้องทั้งหมดถูก import ไว้ให้แล้ว ได้แก่: pandas as pd, train_test_split จาก sklearn.model_selection, accuracy_score จาก sklearn.linear_model, LogisticRegression จาก sklearn.linear_model, BaggingClassifier และ AdaBoostClassifier จาก sklearn.ensemble และ XGBClassifier จาก xgboost

DataFrame loan_data ถูกแบ่งเป็น X_train, X_test, y_train และ y_test ให้เรียบร้อยแล้ว