Đánh giá cây tối ưu

Trong bài này, bạn sẽ đánh giá điểm ROC AUC trên tập kiểm tra của mô hình tối ưu trong grid_dt.

Để làm điều đó, trước tiên bạn sẽ xác định xác suất nhận nhãn dương cho từng quan sát trong tập kiểm tra. Bạn có thể dùng phương thức predict_proba() của một bộ phân loại sklearn để tính một mảng 2D chứa xác suất của nhãn lớp âm và dương lần lượt theo các cột.

Bộ dữ liệu đã được nạp và xử lý sẵn cho bạn (các đặc trưng số đã được chuẩn hóa); dữ liệu được chia 80% train và 20% test. X_test, y_test đã có sẵn trong môi trường làm việc. Ngoài ra, chúng tôi cũng đã nạp đối tượng GridSearchCV đã huấn luyện là grid_dt mà bạn đã khởi tạo ở bài trước. Lưu ý rằng grid_dt đã được huấn luyện như sau:

grid_dt.fit(X_train, y_train)

Bài tập này là một phần của khóa học

Machine Learning với mô hình dựa trên cây trong Python

Xem khóa học

Hướng dẫn bài tập

Import roc_auc_score từ sklearn.metrics.
Trích xuất thuộc tính .best_estimator_ từ grid_dt và gán cho best_model.
Dự đoán xác suất thuộc lớp dương trên tập kiểm tra y_pred_proba.
Tính điểm ROC AUC trên tập kiểm tra test_roc_auc của best_model.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

# Import roc_auc_score from sklearn.metrics
____

# Extract the best estimator
best_model = ____

# Predict the test set probabilities of the positive class
y_pred_proba = ____

# Compute test_roc_auc
test_roc_auc = ____

# Print test_roc_auc
print('Test set ROC AUC score: {:.3f}'.format(test_roc_auc))

Chỉnh sửa và Chạy Mã

Bài tập này là một phần của khóa học

Machine Learning với mô hình dựa trên cây trong Python

SkillTag.level.intermediateSkillTag.label

4.8+

Bắt đầu khóa học miễn phí

Cây Phân loại và Hồi quy (CART) là nhóm mô hình học có giám sát dùng cho bài toán phân loại và hồi quy. Trong chương này, bạn sẽ được giới thiệu về thuật toán CART.

Exercise 1: Cây quyết định cho phân loại Exercise 2: Huấn luyện cây phân loại đầu tiên của bạn Exercise 3: Đánh giá cây phân loại Exercise 4: Logistic regression vs classification tree Exercise 5: Học cây phân loại Exercise 6: Phát triển cây phân loại Exercise 7: Dùng entropy làm tiêu chí Exercise 8: Entropy so với chỉ số Gini Exercise 9: Cây quyết định cho hồi quy Exercise 10: Huấn luyện cây hồi quy đầu tiên của bạn Exercise 11: Đánh giá cây hồi quy Exercise 12: Hồi quy tuyến tính so với cây hồi quy

Đánh đổi giữa độ chệch và phương sai là một trong những khái niệm nền tảng của học có giám sát. Trong chương này, bạn sẽ hiểu cách chẩn đoán hiện tượng quá khớp và thiếu khớp. Bạn cũng sẽ được giới thiệu về ý tưởng tổ hợp mô hình, nơi dự đoán của nhiều mô hình được gộp lại để tạo ra dự đoán vững vàng hơn.

Exercise 1: Lỗi khái quát hóa Exercise 2: Độ phức tạp, bias và variance Exercise 3: Overfitting và underfitting Exercise 4: Chẩn đoán vấn đề bias và variance Exercise 5: Khởi tạo mô hình Exercise 6: Đánh giá lỗi CV 10-fold Exercise 7: Đánh giá lỗi huấn luyện Exercise 8: Bias cao hay variance cao?Exercise 9: Học Ensemble Exercise 10: Định nghĩa ensemble Exercise 11: Đánh giá từng bộ phân loại Exercise 12: Hiệu suất tốt hơn với Voting Classifier

Bagging là một phương pháp tổ hợp trong đó cùng một thuật toán được huấn luyện nhiều lần trên các tập con khác nhau được lấy mẫu từ dữ liệu huấn luyện. Trong chương này, bạn sẽ hiểu cách dùng bagging để tạo một tổ hợp cây. Bạn cũng sẽ học cách thuật toán rừng ngẫu nhiên tạo thêm đa dạng cho tổ hợp thông qua việc ngẫu nhiên hóa ở từng phép chia trong các cây tạo nên tổ hợp.

Exercise 1: Bagging Exercise 2: Định nghĩa bộ phân loại bagging Exercise 3: Đánh giá hiệu năng của Bagging Exercise 4: Đánh giá Out-of-Bag Exercise 5: Chuẩn bị nền tảng Exercise 6: Điểm OOB so với điểm tập kiểm tra Exercise 7: Random Forests (RF)Exercise 8: Huấn luyện mô hình RF cho hồi quy Exercise 9: Đánh giá bộ hồi quy RF Exercise 10: Trực quan hóa mức độ quan trọng của đặc trưng

Boosting là phương pháp tổ hợp trong đó nhiều mô hình được huấn luyện tuần tự và mỗi mô hình học từ lỗi của các mô hình trước đó. Trong chương này, bạn sẽ được giới thiệu hai phương pháp boosting là AdaBoost và Gradient Boosting.

Exercise 1: Adaboost Exercise 2: Định nghĩa bộ phân loại AdaBoost Exercise 3: Huấn luyện bộ phân loại AdaBoost Exercise 4: Đánh giá bộ phân loại AdaBoost Exercise 5: Gradient Boosting (GB)Exercise 6: Định nghĩa bộ hồi quy GB Exercise 7: Huấn luyện GB regressor Exercise 8: Đánh giá bộ hồi quy GB Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: Hồi quy với SGB Exercise 11: Huấn luyện bộ hồi quy SGB Exercise 12: Đánh giá bộ hồi quy SGB

Siêu tham số của một mô hình Machine Learning là các tham số không được học từ dữ liệu. Chúng cần được thiết lập trước khi khớp mô hình với tập huấn luyện. Trong chương này, bạn sẽ học cách tinh chỉnh siêu tham số của mô hình dựa trên cây bằng tìm kiếm lưới kèm cross validation.

Exercise 1: Tinh chỉnh siêu tham số của CART Exercise 2: Siêu tham số của cây Exercise 3: Thiết lập lưới siêu tham số cho cây Exercise 4: Tìm cây tối ưu Exercise 5: Đánh giá cây tối ưu

Bài tập hiện tại

Exercise 6: Điều chỉnh siêu tham số của RF Exercise 7: Siêu tham số của Random Forests Exercise 8: Thiết lập lưới siêu tham số cho RF Exercise 9: Tìm kiếm rừng tối ưu Exercise 10: Đánh giá rừng tối ưu Exercise 11: Chúc mừng bạn!