Evalueer het ensemble
Tot nu toe gaat het goed. Maar hoe goed precies? Bewijs je vaardigheden in modelevaluatie door je out-of-sample AUC te valideren met cross-validatie!
De specificatie boost_spec en de tibble customers_train zijn nog steeds geladen.
Deze oefening maakt deel uit van de cursus
Machine Learning met boomgebaseerde modellen in R
Oefeninstructies
- Maak vijf CV-folds van je trainingsset en sla ze op als
folds. - Train en evalueer voor elke fold een model dat
still_customervoorspelt, met je specificatie, alle predictoren en de AUC-metriek. - Verzamel de statistieken van
cv_resultsen controleer de gemiddelde AUC.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
set.seed(99)
# Create CV folds
folds <- ___
# Fit and evaluate models for all folds
cv_results <- fit_resamples(___,
___,
resamples = ___,
___)
# Collect cross-validated metrics
___