caret offre diversi metodi per confrontare i modelli. Tutti si basano sulla funzione resamples(). Il mio preferito è il box-and-whisker plot, che ti permette di confrontare la distribuzione dell’accuratezza predittiva (in questo caso l’AUC) per i due modelli.

In generale, vuoi il modello con la mediana AUC più alta e con un intervallo tra AUC minima e massima più piccolo.

Puoi creare questo grafico usando la funzione bwplot(), che disegna un box and whisker plot dei punteggi out-of-sample del modello. I box and whisker plot mostrano la mediana di ciascuna distribuzione come una linea e l’intervallo interquartile di ciascuna distribuzione come un box attorno alla linea della mediana. Puoi passare l’argomento metric = "ROC" alla funzione bwplot() per mostrare un grafico dei punteggi ROC out-of-sample del modello e scegliere il modello con la mediana ROC più alta.

Se non specifichi una metrica da rappresentare, bwplot() ne disegnerà automaticamente 3.

glmnet come modello di base

Machine Learning con caret in R

Esercizio pratico interattivo