caret oferă o varietate de metode pentru compararea modelelor. Toate aceste metode se bazează pe funcția resamples(). Preferatul meu este graficul box-and-whisker, care îți permite să compari distribuția acurateței predictive (în acest caz, AUC) pentru cele două modele.

În general, vrei modelul cu AUC median mai mare, precum și un interval mai mic între AUC minim și maxim.

Poți crea acest grafic folosind funcția bwplot(), care generează un grafic box-and-whisker al scorurilor out-of-sample ale modelului. Graficele box-and-whisker afișează mediana fiecărei distribuții ca o linie, iar intervalul intercuartilic al fiecărei distribuții ca o casetă în jurul liniei mediane. Poți transmite argumentul metric = "ROC" funcției bwplot() pentru a afișa un grafic al scorurilor ROC out-of-sample ale modelului și a alege modelul cu cel mai mare ROC median.

Dacă nu specifici o metrică de reprezentat, bwplot() va reprezenta automat 3 dintre ele.

glmnet ca model de referință

Machine Learning cu caret în R

Exercițiu interactiv practic