Créer un diagramme en boîtes à moustaches
caret propose plusieurs méthodes pour comparer des modèles, toutes basées sur la fonction resamples(). Ma préférée est le diagramme en boîtes à moustaches, qui permet de comparer la distribution de la performance prédictive (ici l’AUC) pour les deux modèles.
En général, privilégiez le modèle dont la médiane d’AUC est la plus élevée, avec une plage entre l’AUC minimale et maximale plus réduite.
Vous pouvez créer ce graphique avec la fonction bwplot(), qui trace un diagramme en boîtes à moustaches des scores hors échantillon du modèle. Les diagrammes en boîtes à moustaches affichent la médiane de chaque distribution sous forme de ligne et l’intervalle interquartile sous forme de boîte autour de cette ligne médiane. Vous pouvez passer l’argument metric = "ROC" à la fonction bwplot() pour afficher le graphique des scores ROC hors échantillon et choisir le modèle ayant la médiane de ROC la plus élevée.
Si vous ne précisez pas de métrique à tracer, bwplot() en affichera automatiquement 3.
Cet exercice fait partie du cours
Machine Learning avec caret en R
Instructions
Passez l’objet resamples à la fonction bwplot() pour créer un diagramme en boîtes à moustaches. Examinez le graphique obtenu et notez quel modèle a la médiane de ROC la plus élevée. Veillez à préciser la métrique que vous souhaitez tracer.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Create bwplot