Kiểm tra overfitting
AUC trong mẫu rất cao như \(99.9\%\) có thể là dấu hiệu của overfitting. Cũng có thể dữ liệu của bạn được cấu trúc rất tốt, hoặc mô hình của bạn thực sự xuất sắc!
Để kiểm tra điều nào đúng, bạn cần ước lượng AUC ngoài mẫu và vì bạn chưa muốn đụng đến tập kiểm tra, bạn có thể dùng cross-validation trên tập huấn luyện để tạo các ước lượng này.
Dữ liệu huấn luyện của bạn, customers_train, và đặc tả bagged tree, spec_bagged, vẫn có sẵn trong môi trường làm việc.
Bài tập này là một phần của khóa học
Machine Learning với Mô hình Dựa trên Cây trong R
Hướng dẫn bài tập
- Dùng
fit_resamples()để ước lượng chỉ sốroc_aucvới ba fold CV trên tập huấn luyện và công thức mô hìnhstill_customer ~ total_trans_amt + customer_age + education_level. - Thu thập các chỉ số của kết quả để hiển thị AUC.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
set.seed(55)
# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
___,
resamples = vfold_cv(___),
metrics = ___)
# Collect metrics
___(cv_results)