Evaluasi ansambel
Sejauh ini berjalan baik. Namun, seberapa baik tepatnya? Buktikan keahlian evaluasi model Anda dengan melakukan validasi silang pada AUC out-of-sample Anda!
Spesifikasi boost_spec dan tibble customers_train masih dimuat.
Latihan ini adalah bagian dari kursus
Machine Learning dengan Model Berbasis Pohon di R
Petunjuk latihan
- Buat lima lipatan CV dari himpunan pelatihan Anda dan simpan sebagai
folds. - Latih dan evaluasi model yang memprediksi
still_customeruntuk setiap lipatan, menggunakan spesifikasi Anda, semua variabel prediktor, dan metrik AUC. - Kumpulkan metrik dari
cv_resultsdan periksa nilai rata-rata AUC.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
set.seed(99)
# Create CV folds
folds <- ___
# Fit and evaluate models for all folds
cv_results <- fit_resamples(___,
___,
resamples = ___,
___)
# Collect cross-validated metrics
___