caret erbjuder flera metoder för att jämföra modeller. Alla dessa metoder bygger på funktionen resamples(). En av de mest användbara är lådagrammet, som låter dig jämföra fördelningen av prediktiv träffsäkerhet – i det här fallet AUC – för de två modellerna.

I allmänhet vill du välja den modell som har det högsta medianvärdet för AUC och samtidigt ett litet spann mellan lägsta och högsta AUC.

Du skapar det här diagrammet med funktionen bwplot(), som ritar ett lådagram över modellernas resultat på osedd data. Lådagrammet visar medianen för varje fördelning som en linje och kvartilavståndet som en låda runt medianlinjen. Du kan skicka argumentet metric = "ROC" till bwplot() för att visa modellernas ROC-värden på osedd data och välja den modell som har det högsta median-ROC-värdet.

Om du inte anger något mått att rita ut väljer bwplot() automatiskt att visa tre av dem.

glmnet som baslinjemodell

Maskininlärning med caret i R

Interaktiv övning med praktiskt arbete