Đánh giá bộ phân loại AdaBoost

Giờ bạn đã huấn luyện xong ada và dự đoán xác suất thuộc lớp dương trên tập kiểm tra, hãy đánh giá điểm ROC AUC của ada. Nhớ rằng điểm ROC AUC của một bộ phân loại nhị phân có thể được tính bằng hàm roc_auc_score() từ sklearn.metrics.

Các mảng y_test và y_pred_proba mà bạn đã tính ở bài trước hiện có sẵn trong workspace của bạn.

Bài tập này là một phần của khóa học

Machine Learning với mô hình dựa trên cây trong Python

Xem khóa học

Hướng dẫn bài tập

Import roc_auc_score từ sklearn.metrics.
Tính điểm ROC AUC trên tập kiểm tra của ada, gán vào ada_roc_auc, và in ra.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import roc_auc_score
____

# Evaluate test-set roc_auc_score
____ = ____(____, ____)

# Print roc_auc_score
print('ROC AUC score: {:.2f}'.format(ada_roc_auc))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Machine Learning với mô hình dựa trên cây trong Python

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Cây Phân loại và Hồi quy (CART) là nhóm mô hình học có giám sát dùng cho bài toán phân loại và hồi quy. Trong chương này, bạn sẽ được giới thiệu về thuật toán CART.

Exercise 1: Cây quyết định cho phân loại Exercise 2: Huấn luyện cây phân loại đầu tiên của bạn Exercise 3: Đánh giá cây phân loại Exercise 4: Logistic regression vs classification tree Exercise 5: Học cây phân loại Exercise 6: Phát triển cây phân loại Exercise 7: Dùng entropy làm tiêu chí Exercise 8: Entropy so với chỉ số Gini Exercise 9: Cây quyết định cho hồi quy Exercise 10: Huấn luyện cây hồi quy đầu tiên của bạn Exercise 11: Đánh giá cây hồi quy Exercise 12: Hồi quy tuyến tính so với cây hồi quy

Đánh đổi giữa độ chệch và phương sai là một trong những khái niệm nền tảng của học có giám sát. Trong chương này, bạn sẽ hiểu cách chẩn đoán hiện tượng quá khớp và thiếu khớp. Bạn cũng sẽ được giới thiệu về ý tưởng tổ hợp mô hình, nơi dự đoán của nhiều mô hình được gộp lại để tạo ra dự đoán vững vàng hơn.

Exercise 1: Lỗi khái quát hóa Exercise 2: Độ phức tạp, bias và variance Exercise 3: Overfitting và underfitting Exercise 4: Chẩn đoán vấn đề bias và variance Exercise 5: Khởi tạo mô hình Exercise 6: Đánh giá lỗi CV 10-fold Exercise 7: Đánh giá lỗi huấn luyện Exercise 8: Bias cao hay variance cao?Exercise 9: Học Ensemble Exercise 10: Định nghĩa ensemble Exercise 11: Đánh giá từng bộ phân loại Exercise 12: Hiệu suất tốt hơn với Voting Classifier

Bagging là một phương pháp tổ hợp trong đó cùng một thuật toán được huấn luyện nhiều lần trên các tập con khác nhau được lấy mẫu từ dữ liệu huấn luyện. Trong chương này, bạn sẽ hiểu cách dùng bagging để tạo một tổ hợp cây. Bạn cũng sẽ học cách thuật toán rừng ngẫu nhiên tạo thêm đa dạng cho tổ hợp thông qua việc ngẫu nhiên hóa ở từng phép chia trong các cây tạo nên tổ hợp.

Exercise 1: Bagging Exercise 2: Định nghĩa bộ phân loại bagging Exercise 3: Đánh giá hiệu năng của Bagging Exercise 4: Đánh giá Out-of-Bag Exercise 5: Chuẩn bị nền tảng Exercise 6: Điểm OOB so với điểm tập kiểm tra Exercise 7: Random Forests (RF)Exercise 8: Huấn luyện mô hình RF cho hồi quy Exercise 9: Đánh giá bộ hồi quy RF Exercise 10: Trực quan hóa mức độ quan trọng của đặc trưng

Boosting là phương pháp tổ hợp trong đó nhiều mô hình được huấn luyện tuần tự và mỗi mô hình học từ lỗi của các mô hình trước đó. Trong chương này, bạn sẽ được giới thiệu hai phương pháp boosting là AdaBoost và Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Định nghĩa bộ phân loại AdaBoost Exercise 3: Huấn luyện bộ phân loại AdaBoost Exercise 4: Đánh giá bộ phân loại AdaBoost

Bài tập hiện tại

Exercise 5: Gradient Boosting (GB)Exercise 6: Định nghĩa bộ hồi quy GB Exercise 7: Huấn luyện GB regressor Exercise 8: Đánh giá bộ hồi quy GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Hồi quy với SGB Exercise 11: Huấn luyện bộ hồi quy SGB Exercise 12: Đánh giá bộ hồi quy SGB

Siêu tham số của một mô hình Machine Learning là các tham số không được học từ dữ liệu. Chúng cần được thiết lập trước khi khớp mô hình với tập huấn luyện. Trong chương này, bạn sẽ học cách tinh chỉnh siêu tham số của mô hình dựa trên cây bằng tìm kiếm lưới kèm cross validation.

Exercise 1: Tinh chỉnh siêu tham số của CART Exercise 2: Siêu tham số của cây Exercise 3: Thiết lập lưới siêu tham số cho cây Exercise 4: Tìm cây tối ưu Exercise 5: Đánh giá cây tối ưu Exercise 6: Điều chỉnh siêu tham số của RF Exercise 7: Siêu tham số của Random Forests Exercise 8: Thiết lập lưới siêu tham số cho RF Exercise 9: Tìm kiếm rừng tối ưu Exercise 10: Đánh giá rừng tối ưu Exercise 11: Chúc mừng bạn!