Comparer l'AUC

Comparer différents modèles est au cœur de la sélection de modèles. Dans les deux derniers exercices, vous allez comparer tous les types de modèles vus dans ce cours : arbres de décision, arbres avec ensachage (bagging), forêts aléatoires (random forests) et gradient boosting.

Tous les modèles ont été parfaitement ajustés et entraînés sur le même ensemble d'entraînement, customers_train, et des prédictions ont été faites pour l'ensemble customers_test. Les résultats sont des probabilités numériques et sont disponibles sous le nom preds_combined dans votre session :

tibble [1,011 × 5]
 $ preds_tree    : 0.144 0.441 ...
 $ preds_bagging : 0.115 0.326 ...
 $ preds_forest  : 0 0 0 0.286 ...
 $ preds_boosting: 0.136 0.149 ...
 $ still_customer: "no","no", ...

Cette activité fait partie du cours

Machine Learning avec des modèles arborescents en R

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

# Calculate the AUC for each model
auc_tree   <- ___(preds_combined, truth = ___, estimate = ___)
auc_bagged <- ___(preds_combined, truth = ___, estimate = ___)
auc_forest <- ___(preds_combined, truth = ___, estimate = ___)
auc_boost  <- ___(preds_combined, truth = ___, estimate = ___)

# Print the results
auc_tree
auc_bagged
auc_forest
auc_boost

Modifier et exécuter le code

Cette activité fait partie du cours

Machine Learning avec des modèles arborescents en R

SkillTag.level.beginnerSkillTag.label

4.9+

Commencer le cours gratuitement

Prêt à bâtir un véritable pipeline de Machine Learning? Réalisez des exercices guidés étape par étape pour apprendre à créer des arbres de décision, à scinder vos données et à prédire quels patients sont les plus susceptibles d'être atteints de diabète. Enfin, vous construirez des mesures de performance pour évaluer vos modèles et juger vos prédictions.

Exercise 1: Bienvenue dans le cours !Exercise 2: Pourquoi les méthodes à base d'arbres?Exercise 3: Définir cette arborescence Exercise 4: Entraîner le modèle Exercise 5: Comment faire croître votre arbre Exercise 6: Séparation entraînement/test Exercise 7: Éviter les déséquilibres de classe Exercise 8: De zéro à héros Exercise 9: Prédire et évaluer Exercise 10: Faire des prédictions Exercise 11: Décryptez la matrice Exercise 12: Prédisez-vous correctement?

Envie d'un peu de sucré? Utilisez un jeu de données sur l'évaluation de chocolats pour bâtir des arbres de régression et évaluer leur performance à l'aide de mesures d'erreur appropriées. Vous surmonterez l'incertitude statistique des simples divisions entraînement/test en appliquant des techniques éprouvées comme la validation croisée, puis vous irez encore plus loin en maîtrisant le compromis biais-variance.

Exercise 1: Variables continues Exercise 2: Entraîner un arbre de régression Exercise 3: Prédire de nouvelles valeurs Exercise 4: Examiner la sortie du modèle Exercise 5: Mesures de performance pour les arbres de régression Exercise 6: Performance en échantillon Exercise 7: Performance hors échantillon Exercise 8: Plus l'erreur est grande, plus la pénalité l'est aussi Exercise 9: Validation croisée Exercise 10: Créer les plis Exercise 11: Ajuster les plis Exercise 12: Évaluer les plis Exercise 13: Compromis biais-variance Exercise 14: Appeler les choses par leur nom Exercise 15: Ajuster la complexité du modèle Exercise 16: Performances en échantillon et hors échantillon

Il est temps de vous attaquer sérieusement au réglage de vos hyperparamètres et à l'interprétation des courbes ROC (receiver operating characteristic). Dans ce chapitre, vous tirerez parti de l'intelligence collective avec des modèles en ensemble comme l'ensachage (bagging) ou les forêts aléatoires, et vous construirez des ensembles qui prévoient quels titulaires de carte de crédit sont les plus susceptibles d'abandonner.

Exercise 1: Ajuster les hyperparamètres Exercise 2: Générer une grille d'ajustement Exercise 3: Ajuster le long de la grille Exercise 4: Choisir le gagnant Exercise 5: Autres mesures de modèle Exercise 6: Calculer la spécificité Exercise 7: Tracer la courbe ROC Exercise 8: Aire sous la courbe ROC Exercise 9: Arbres ensachés Exercise 10: Créer des arbres ensachés (bagging)Exercise 11: ROC et AUC en échantillon Exercise 12: Vérifier le surapprentissage Exercise 13: Forêt aléatoire Exercise 14: Arbres empaquetés (bagging) vs forêt aléatoire Exercise 15: Importance des variables

Prêt pour le haut de gamme des modèles à base d'arbres? Appliquez le rehaussement de gradient pour créer des ensembles puissants qui surpassent tout ce que vous avez vu ou construit. Découvrez comment les peaufiner et comparer différents modèles afin de choisir le meilleur pour la mise en production.

Exercise 1: Introduction au boosting Exercise 2: Bagging vs boosting Exercise 3: Spécifier un ensemble par rehaussement Exercise 4: Rehaussement de gradient Exercise 5: Entraîner un ensemble par boosting Exercise 6: Évaluer l'ensemble Exercise 7: Comparer à un seul classifieur Exercise 8: Optimiser l'ensemble bonifié Exercise 9: Préparation à l'optimisation Exercise 10: Le réglage proprement dit Exercise 11: Finaliser le modèle Exercise 12: Comparaison de modèles Exercise 13: Comparer l'AUC

Exercice en cours

Exercise 14: Tracer les courbes ROC Exercise 15: Résumé