XGBoost

Trong bài tập này, bạn sẽ thực hành thêm một kỹ thuật boosting nữa. Được mệnh danh là “nữ hoàng mới” của Machine Learning, XGBoost là một gói gradient boosting phân tán, tối ưu hóa và đang "chinh phục thế giới!" Vì vậy, khả năng bạn bị hỏi về nó trong phỏng vấn Machine Learning là khá cao, hoặc ít nhất, việc chủ động đề cập đến nó trong một câu trả lời sẽ giúp bạn thể hiện hiểu biết về các thuật toán tối tân và có độ chính xác cao.

Tham số learning_rate=0.1 chỉ kích thước bước dịch trong mỗi vòng lặp khi tìm cực tiểu toàn cục, và max_depth kiểm soát kích thước (độ sâu) của các cây quyết định, ở đây là 3.

Tất cả các gói liên quan đã được nhập sẵn cho bạn: pandas là pd, train_test_split từ sklearn.model_selection, accuracy_score từ sklearn.linear_model, LogisticRegression từ sklearn.linear_model, BaggingClassifier và AdaBoostClassifier từ sklearn.ensemble, và XGBClassifier từ xgboost.

DataFrame loan_data đã được chia sẵn thành X_train, X_test, y_train và y_test.