caret offre diverses méthodes pour comparer des modèles. Toutes reposent sur la fonction resamples(). Ma préférée est le diagramme en boîtes à moustaches, qui permet de comparer la distribution de la justesse prédictive (ici l'AUC) pour les deux modèles.

En général, vous cherchez le modèle dont la médiane de l'AUC est plus élevée, ainsi qu'un intervalle min–max plus restreint.

Vous pouvez produire ce graphique avec la fonction bwplot(), qui trace un diagramme en boîtes et moustaches des scores hors échantillon du modèle. Les diagrammes en boîtes et moustaches affichent la médiane de chaque distribution sous forme de ligne, et l'intervalle interquartile sous forme de boîte autour de cette ligne médiane. Vous pouvez transmettre l'argument metric = "ROC" à la fonction bwplot() pour afficher les scores ROC hors échantillon du modèle et choisir celui avec la médiane ROC la plus élevée.

Si vous ne précisez pas la mesure à tracer, bwplot() en affichera automatiquement trois.

Pourquoi réutiliser un trainControl?

Machine Learning avec caret en R

Exercice interactif pratique