Đánh giá mô hình ensemble
Mọi thứ vẫn ổn. Nhưng chính xác là tốt đến mức nào? Chứng minh kỹ năng đánh giá mô hình của bạn bằng cách cross-validate AUC ngoài mẫu!
Đặc tả boost_spec và tibble customers_train vẫn đang được nạp.
Bài tập này là một phần của khóa học
Machine Learning với Mô hình Dựa trên Cây trong R
Hướng dẫn bài tập
- Tạo 5 fold CV từ tập huấn luyện của bạn và lưu thành
folds. - Huấn luyện và đánh giá một mô hình dự đoán
still_customercho từng fold, dùng đặc tả của bạn, toàn bộ biến dự báo và thước đo AUC. - Thu thập các thước đo của
cv_resultsvà kiểm tra AUC trung bình.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
set.seed(99)
# Create CV folds
folds <- ___
# Fit and evaluate models for all folds
cv_results <- fit_resamples(___,
___,
resamples = ___,
___)
# Collect cross-validated metrics
___