Huấn luyện bộ phân loại AdaBoost

Bây giờ bạn đã khởi tạo bộ phân loại AdaBoost ada, đã đến lúc huấn luyện nó. Bạn cũng sẽ dự đoán xác suất thuộc lớp dương trên tập kiểm tra. Bạn có thể thực hiện như sau:

Sau khi huấn luyện xong bộ phân loại ada, gọi phương thức .predict_proba() với X_test làm tham số và trích xuất các xác suất này bằng cách lấy toàn bộ giá trị ở cột thứ hai như sau:

ada.predict_proba(X_test)[:,1]

Bộ dữ liệu Indian Liver đã được xử lý sẵn và chia thành 80% huấn luyện và 20% kiểm tra. Ma trận đặc trưng X_train và X_test, cũng như các mảng nhãn y_train và y_test, đã có sẵn trong không gian làm việc của bạn. Ngoài ra, chúng tôi cũng đã nạp mô hình ada đã khởi tạo từ bài tập trước.

Bài tập này là một phần của khóa học

Machine Learning với mô hình dựa trên cây trong Python

Xem khóa học

Hướng dẫn bài tập

Fit ada trên tập huấn luyện.
Tính xác suất thuộc lớp dương trên tập kiểm tra.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Fit ada to the training set
____

# Compute the probabilities of obtaining the positive class
y_pred_proba = ____.____(____)[____]

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Machine Learning với mô hình dựa trên cây trong Python

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Cây Phân loại và Hồi quy (CART) là nhóm mô hình học có giám sát dùng cho bài toán phân loại và hồi quy. Trong chương này, bạn sẽ được giới thiệu về thuật toán CART.

Exercise 1: Cây quyết định cho phân loại Exercise 2: Huấn luyện cây phân loại đầu tiên của bạn Exercise 3: Đánh giá cây phân loại Exercise 4: Logistic regression vs classification tree Exercise 5: Học cây phân loại Exercise 6: Phát triển cây phân loại Exercise 7: Dùng entropy làm tiêu chí Exercise 8: Entropy so với chỉ số Gini Exercise 9: Cây quyết định cho hồi quy Exercise 10: Huấn luyện cây hồi quy đầu tiên của bạn Exercise 11: Đánh giá cây hồi quy Exercise 12: Hồi quy tuyến tính so với cây hồi quy

Đánh đổi giữa độ chệch và phương sai là một trong những khái niệm nền tảng của học có giám sát. Trong chương này, bạn sẽ hiểu cách chẩn đoán hiện tượng quá khớp và thiếu khớp. Bạn cũng sẽ được giới thiệu về ý tưởng tổ hợp mô hình, nơi dự đoán của nhiều mô hình được gộp lại để tạo ra dự đoán vững vàng hơn.

Exercise 1: Lỗi khái quát hóa Exercise 2: Độ phức tạp, bias và variance Exercise 3: Overfitting và underfitting Exercise 4: Chẩn đoán vấn đề bias và variance Exercise 5: Khởi tạo mô hình Exercise 6: Đánh giá lỗi CV 10-fold Exercise 7: Đánh giá lỗi huấn luyện Exercise 8: Bias cao hay variance cao?Exercise 9: Học Ensemble Exercise 10: Định nghĩa ensemble Exercise 11: Đánh giá từng bộ phân loại Exercise 12: Hiệu suất tốt hơn với Voting Classifier

Bagging là một phương pháp tổ hợp trong đó cùng một thuật toán được huấn luyện nhiều lần trên các tập con khác nhau được lấy mẫu từ dữ liệu huấn luyện. Trong chương này, bạn sẽ hiểu cách dùng bagging để tạo một tổ hợp cây. Bạn cũng sẽ học cách thuật toán rừng ngẫu nhiên tạo thêm đa dạng cho tổ hợp thông qua việc ngẫu nhiên hóa ở từng phép chia trong các cây tạo nên tổ hợp.

Exercise 1: Bagging Exercise 2: Định nghĩa bộ phân loại bagging Exercise 3: Đánh giá hiệu năng của Bagging Exercise 4: Đánh giá Out-of-Bag Exercise 5: Chuẩn bị nền tảng Exercise 6: Điểm OOB so với điểm tập kiểm tra Exercise 7: Random Forests (RF)Exercise 8: Huấn luyện mô hình RF cho hồi quy Exercise 9: Đánh giá bộ hồi quy RF Exercise 10: Trực quan hóa mức độ quan trọng của đặc trưng

Boosting là phương pháp tổ hợp trong đó nhiều mô hình được huấn luyện tuần tự và mỗi mô hình học từ lỗi của các mô hình trước đó. Trong chương này, bạn sẽ được giới thiệu hai phương pháp boosting là AdaBoost và Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Định nghĩa bộ phân loại AdaBoost Exercise 3: Huấn luyện bộ phân loại AdaBoost

Bài tập hiện tại

Exercise 4: Đánh giá bộ phân loại AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Định nghĩa bộ hồi quy GB Exercise 7: Huấn luyện GB regressor Exercise 8: Đánh giá bộ hồi quy GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Hồi quy với SGB Exercise 11: Huấn luyện bộ hồi quy SGB Exercise 12: Đánh giá bộ hồi quy SGB

Siêu tham số của một mô hình Machine Learning là các tham số không được học từ dữ liệu. Chúng cần được thiết lập trước khi khớp mô hình với tập huấn luyện. Trong chương này, bạn sẽ học cách tinh chỉnh siêu tham số của mô hình dựa trên cây bằng tìm kiếm lưới kèm cross validation.

Exercise 1: Tinh chỉnh siêu tham số của CART Exercise 2: Siêu tham số của cây Exercise 3: Thiết lập lưới siêu tham số cho cây Exercise 4: Tìm cây tối ưu Exercise 5: Đánh giá cây tối ưu Exercise 6: Điều chỉnh siêu tham số của RF Exercise 7: Siêu tham số của Random Forests Exercise 8: Thiết lập lưới siêu tham số cho RF Exercise 9: Tìm kiếm rừng tối ưu Exercise 10: Đánh giá rừng tối ưu Exercise 11: Chúc mừng bạn!