Comparer l’AUC

Comparer différents modèles est au cœur de la sélection de modèles. Dans les deux derniers exercices, vous allez comparer tous les types de modèles vus dans ce cours : arbres de décision, arbres agrégés (bagging), forêts aléatoires et gradient boosting.

Tous les modèles ont été finement réglés et entraînés sur le même ensemble d’entraînement, customers_train, et des prédictions ont été réalisées pour le jeu de données customers_test. Les résultats sont des probabilités numériques disponibles sous le nom preds_combined dans votre session :

tibble [1,011 × 5]
 $ preds_tree    : 0.144 0.441 ...
 $ preds_bagging : 0.115 0.326 ...
 $ preds_forest  : 0 0 0 0.286 ...
 $ preds_boosting: 0.136 0.149 ...
 $ still_customer: "no","no", ...

Cet exercice fait partie du cours

Machine Learning avec des modèles à base d’arbres en R

Afficher le cours

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Calculate the AUC for each model
auc_tree   <- ___(preds_combined, truth = ___, estimate = ___)
auc_bagged <- ___(preds_combined, truth = ___, estimate = ___)
auc_forest <- ___(preds_combined, truth = ___, estimate = ___)
auc_boost  <- ___(preds_combined, truth = ___, estimate = ___)

# Print the results
auc_tree
auc_bagged
auc_forest
auc_boost

Modifier et exécuter le code

Cet exercice fait partie du cours

Machine Learning avec des modèles à base d’arbres en R

DébutantNiveau de compétence

4.9+

Commencer le cours gratuitement

Prêt à construire un véritable pipeline de Machine Learning ? Réalisez des exercices guidés pas à pas pour apprendre à créer des arbres de décision, à scinder vos données et à prédire quels patients sont les plus susceptibles de développer un diabète. Pour finir, vous mettrez en place des mesures de performance pour évaluer vos modèles et juger vos prédictions.

Exercise 1: Bienvenue dans le cours !Exercise 2: Pourquoi des méthodes à base d’arbres ?Exercise 3: Définir cet arbre Exercise 4: Entraîner le modèle Exercise 5: Comment faire grandir votre arbre Exercise 6: Découpage entraînement/test Exercise 7: Éviter les déséquilibres de classes Exercise 8: De zéro à héros Exercise 9: Prédire et évaluer Exercise 10: Faire des prédictions Exercise 11: Décryptez la matrice Exercise 12: Prédisez-vous correctement ?

Envie d’un peu de douceur ? Utilisez un jeu de données d’évaluations de chocolats pour construire des arbres de régression et évaluer leurs performances avec des mesures d’erreur adaptées. Vous dépasserez les incertitudes statistiques d’un simple découpage apprentissage/test grâce à des techniques savoureuses comme la validation croisée, puis irez plus loin en maîtrisant le compromis biais-variance.

Exercise 1: Variables continues Exercise 2: Entraîner un arbre de régression Exercise 3: Prédire de nouvelles valeurs Exercise 4: Examiner la sortie du modèle Exercise 5: Mesures de performance pour les arbres de régression Exercise 6: Performance sur l’échantillon d’entraînement Exercise 7: Performance hors échantillon Exercise 8: Plus l’erreur est grande, plus la pénalité est forte Exercise 9: Validation croisée Exercise 10: Créer les plis Exercise 11: Ajuster les folds Exercise 12: Évaluer les plis Exercise 13: Compromis biais-variance Exercise 14: Appeler les choses par leur nom Exercise 15: Ajuster la complexité du modèle Exercise 16: Performances en échantillon et hors échantillon

Il est temps d’aller plus loin avec le réglage de vos hyperparamètres et l’interprétation des courbes ROC (receiver operating characteristic). Dans ce chapitre, vous exploiterez l’intelligence collective avec des modèles d’ensemble comme le bagging ou les forêts aléatoires, et vous construirez des ensembles capables de prévoir quels titulaires de cartes de crédit sont les plus susceptibles de résilier.

Exercise 1: Ajuster les hyperparamètres Exercise 2: Générer une grille de réglage Exercise 3: Ajuster le long de la grille Exercise 4: Choisir le gagnant Exercise 5: D’autres mesures de modèle Exercise 6: Calculer la spécificité Exercise 7: Tracer la courbe ROC Exercise 8: Aire sous la courbe ROC Exercise 9: Arbres agrégés (bagging)Exercise 10: Créer des arbres baggés Exercise 11: ROC et AUC en échantillon Exercise 12: Vérifier le surapprentissage Exercise 13: Forêt aléatoire Exercise 14: Arbres ensachés vs. random forest Exercise 15: Importance des variables

Prêt pour le haut de gamme des modèles à base d’arbres ? Appliquez le gradient boosting pour créer des ensembles puissants surpassant tout ce que vous avez vu ou construit. Apprenez à les ajuster finement et à comparer différents modèles pour choisir le meilleur pour la production.

Exercise 1: Introduction au boosting Exercise 2: Bagging vs. boosting Exercise 3: Spécifier un ensemble boosté Exercise 4: Gradient boosting Exercise 5: Entraîner un ensemble boosté Exercise 6: Évaluer l’assemblage Exercise 7: Comparer à un classifieur unique Exercise 8: Optimiser l’ensemble boosté Exercise 9: Préparer l’optimisation Exercise 10: L’ajustement proprement dit Exercise 11: Finaliser le modèle Exercise 12: Comparaison de modèles Exercise 13: Comparer l’AUC

Exercice en cours

Exercise 14: Tracer des courbes ROC Exercise 15: Récapitulatif