CommencerCommencer gratuitement

ROC et AUC en échantillon

Dans quelle mesure les arbres ensachés capturent-ils la structure de votre jeu d’entraînement ? Sont-ils meilleurs que les arbres de décision ? Sur‑apprennent-ils ? Utiliser la ROC et l’AUC est un excellent moyen de l’évaluer.

Dans cet exercice, vous allez générer ces prédictions en échantillon et calculer leur ROC et leur AUC. Restez attentif, il y aura des surprises !

Sont préchargés le résultat de l’exercice précédent, model_bagged, et les données d’entraînement, customers_train.

Cet exercice fait partie du cours

Machine Learning avec des modèles à base d’arbres en R

Afficher le cours

Instructions

  • Utilisez model_bagged pour générer des prédictions de probabilité avec votre jeu d’entraînement et ajoutez-les au tibble d’entraînement, en enregistrant le résultat dans predictions.
  • Générez la courbe ROC du tibble predictions et affichez le graphique.
  • Calculez l’AUC du tibble predictions.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Predict on training set and add to training set
predictions <- ___(___,
                   new_data = ___, 
                   type = "___") %>% 
    bind_cols(___)

# Create and plot the ROC curve
roc_curve(___,
          estimate = ___,
          truth = ___) %>% autoplot()

# Calculate the AUC
___(predictions,
    estimate = ___, 
    truth = ___)
Modifier et exécuter le code