ComeçarComece de graça

ROC e AUC in-sample

Quão bem as árvores com bagging capturam a estrutura do seu conjunto de treino? Elas são melhores do que árvores de decisão? Há overfitting? Usar ROC e AUC é uma ótima forma de avaliar isso.

Neste exercício, você vai gerar essas previsões in-sample e calcular suas métricas ROC e AUC. Fique de olho, podem aparecer surpresas!

Já estão pré-carregados o resultado do exercício anterior, model_bagged, e os dados de treino, customers_train.

Este exercício faz parte do curso

Machine Learning com modelos baseados em árvores em R

Ver curso

Instruções do exercício

  • Use model_bagged para gerar previsões de probabilidade com o seu conjunto de treino e adicione-as ao tibble de treino, salvando o resultado como predictions.
  • Gere a curva ROC do tibble predictions e faça o gráfico do resultado.
  • Calcule a AUC do tibble predictions.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Predict on training set and add to training set
predictions <- ___(___,
                   new_data = ___, 
                   type = "___") %>% 
    bind_cols(___)

# Create and plot the ROC curve
roc_curve(___,
          estimate = ___,
          truth = ___) %>% autoplot()

# Calculate the AUC
___(predictions,
    estimate = ___, 
    truth = ___)
Editar e executar o código