caret propose plusieurs méthodes pour comparer des modèles, toutes basées sur la fonction resamples(). Ma préférée est le diagramme en boîtes à moustaches, qui permet de comparer la distribution de la performance prédictive (ici l’AUC) pour les deux modèles.

En général, privilégiez le modèle dont la médiane d’AUC est la plus élevée, avec une plage entre l’AUC minimale et maximale plus réduite.

Vous pouvez créer ce graphique avec la fonction bwplot(), qui trace un diagramme en boîtes à moustaches des scores hors échantillon du modèle. Les diagrammes en boîtes à moustaches affichent la médiane de chaque distribution sous forme de ligne et l’intervalle interquartile sous forme de boîte autour de cette ligne médiane. Vous pouvez passer l’argument metric = "ROC" à la fonction bwplot() pour afficher le graphique des scores ROC hors échantillon et choisir le modèle ayant la médiane de ROC la plus élevée.

Si vous ne précisez pas de métrique à tracer, bwplot() en affichera automatiquement 3.

Pourquoi réutiliser un trainControl ?

Machine Learning avec caret en R

Exercice interactif pratique