CommencezCommencez gratuitement

ROC et AUC en échantillon

Dans quelle mesure les arbres empochés captent-ils la structure de votre ensemble d'entraînement? Sont-ils meilleurs que les arbres de décision? Surapprennent-ils? Utiliser la ROC et l'AUC est une excellente façon d'évaluer cela.

Dans cet exercice, vous allez générer ces prédictions en échantillon et calculer leur ROC et leur AUC. Soyez attentif, il y aura des surprises!

Sont préchargés : le résultat de l'exercice précédent, model_bagged, ainsi que les données d'entraînement, customers_train.

Cette activité fait partie du cours

Machine Learning avec des modèles arborescents en R

Voir le cours

Instructions de l’exercice

  • Utilisez model_bagged pour générer des prédictions de probabilité avec votre ensemble d'entraînement et ajoutez-les au tibble d'entraînement, puis enregistrez le résultat dans predictions.
  • Générez la courbe ROC du tibble predictions et tracez le résultat.
  • Calculez l'AUC du tibble predictions.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Predict on training set and add to training set
predictions <- ___(___,
                   new_data = ___, 
                   type = "___") %>% 
    bind_cols(___)

# Create and plot the ROC curve
roc_curve(___,
          estimate = ___,
          truth = ___) %>% autoplot()

# Calculate the AUC
___(predictions,
    estimate = ___, 
    truth = ___)
Modifier et exécuter le code