1. Learn
  2. /
  3. Courses
  4. /
  5. Machine Learning với Mô hình Dựa trên Cây trong R

Connected

Exercise

Kiểm tra overfitting

AUC trong mẫu rất cao như \(99.9\%\) có thể là dấu hiệu của overfitting. Cũng có thể dữ liệu của bạn được cấu trúc rất tốt, hoặc mô hình của bạn thực sự xuất sắc!

Để kiểm tra điều nào đúng, bạn cần ước lượng AUC ngoài mẫu và vì bạn chưa muốn đụng đến tập kiểm tra, bạn có thể dùng cross-validation trên tập huấn luyện để tạo các ước lượng này.

Dữ liệu huấn luyện của bạn, customers_train, và đặc tả bagged tree, spec_bagged, vẫn có sẵn trong môi trường làm việc.

Instructions

100 XP
  • Dùng fit_resamples() để ước lượng chỉ số roc_auc với ba fold CV trên tập huấn luyện và công thức mô hình still_customer ~ total_trans_amt + customer_age + education_level.
  • Thu thập các chỉ số của kết quả để hiển thị AUC.