ROC và AUC trong mẫu
Các cây bagging mô tả cấu trúc của tập huấn luyện tốt đến mức nào? Chúng có tốt hơn cây quyết định không? Có bị overfit không? Dùng ROC và AUC là cách rất hay để đánh giá điều này.
Trong bài này, bạn sẽ tạo các dự đoán trong mẫu và tính ROC cùng AUC của chúng. Hãy chú ý, sẽ có điều bất ngờ đấy!
Đã nạp sẵn kết quả của bài trước, model_bagged, và dữ liệu huấn luyện, customers_train.
Bài tập này là một phần của khóa học
Machine Learning với Mô hình Dựa trên Cây trong R
Hướng dẫn bài tập
- Dùng
model_baggedđể tạo dự đoán xác suất với tập huấn luyện và thêm chúng vào tibble huấn luyện, lưu kết quả làpredictions. - Tạo đường cong ROC từ tibble
predictionsvà vẽ biểu đồ kết quả. - Tính AUC của tibble
predictions.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Predict on training set and add to training set
predictions <- ___(___,
new_data = ___,
type = "___") %>%
bind_cols(___)
# Create and plot the ROC curve
roc_curve(___,
estimate = ___,
truth = ___) %>% autoplot()
# Calculate the AUC
___(predictions,
estimate = ___,
truth = ___)