Avaliar o ensemble
Até aqui, tudo bem. Mas quão bom exatamente? Mostre suas habilidades de avaliação de modelos fazendo validação cruzada do seu AUC fora da amostra!
A especificação boost_spec e o tibble customers_train ainda estão carregados.
Este exercício faz parte do curso
Machine Learning com modelos baseados em árvores em R
Instruções do exercício
- Crie cinco folds de validação cruzada do seu conjunto de treinamento e salve como
folds. - Treine e avalie um modelo que prevê
still_customerpara cada fold, usando sua especificação, todas as variáveis preditoras e a métrica AUC. - Colete as métricas de
cv_resultse verifique o AUC médio.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
set.seed(99)
# Create CV folds
folds <- ___
# Fit and evaluate models for all folds
cv_results <- fit_resamples(___,
___,
resamples = ___,
___)
# Collect cross-validated metrics
___