CommencezCommencez gratuitement

Vérifier le surapprentissage

Une AUC en échantillon très élevée, comme 99,9 %, peut indiquer du surapprentissage. Il est aussi possible que votre jeu de données soit simplement très bien structuré ou que votre modèle soit tout simplement excellent!

Pour déterminer ce qui est vrai, vous devez produire des estimations hors échantillon de votre AUC et, comme vous ne voulez pas toucher à votre jeu de test pour le moment, vous pouvez les obtenir au moyen d'une validation croisée sur votre jeu d'entraînement.

Vos données d'entraînement, customers_train, et la spécification d'arbre ensaché, spec_bagged, sont toujours disponibles dans votre espace de travail.

Cette activité fait partie du cours

Machine Learning avec des modèles arborescents en R

Voir le cours

Instructions de l’exercice

  • À l'aide de fit_resamples(), estimez votre mesure roc_auc en utilisant trois plis de validation croisée de votre jeu d'entraînement et la formule du modèle still_customer ~ total_trans_amt + customer_age + education_level.
  • Recueillez les mesures du résultat pour afficher l'AUC.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

set.seed(55)

# Estimate AUC using cross-validation
cv_results <- fit_resamples(spec_bagged,
                            ___, 
                            resamples = vfold_cv(___),
                            metrics = ___)

# Collect metrics
___(cv_results)
Modifier et exécuter le code