caret offre diversi metodi per confrontare i modelli. Tutti si basano sulla funzione resamples(). Il mio preferito è il box-and-whisker plot, che ti permette di confrontare la distribuzione dell’accuratezza predittiva (in questo caso l’AUC) per i due modelli.

In generale, vuoi il modello con la mediana AUC più alta e con un intervallo tra AUC minima e massima più piccolo.

Puoi creare questo grafico usando la funzione bwplot(), che disegna un box and whisker plot dei punteggi out-of-sample del modello. I box and whisker plot mostrano la mediana di ciascuna distribuzione come una linea e l’intervallo interquartile di ciascuna distribuzione come un box attorno alla linea della mediana. Puoi passare l’argomento metric = "ROC" alla funzione bwplot() per mostrare un grafico dei punteggi ROC out-of-sample del modello e scegliere il modello con la mediana ROC più alta.

Se non specifichi una metrica da rappresentare, bwplot() ne disegnerà automaticamente 3.

Perché riutilizzare un trainControl?

Machine Learning con caret in R

Esercizio pratico interattivo