caret bietet verschiedene Methoden, um Modelle zu vergleichen. Alle basieren auf der Funktion resamples(). Mein Favorit ist das Box-and-Whisker-Diagramm, mit dem du die Verteilung der Vorhersagegenauigkeit (hier: AUC) für die beiden Modelle vergleichen kannst.

Im Allgemeinen möchtest du das Modell mit der höheren medianen AUC sowie einem kleineren Bereich zwischen minimaler und maximaler AUC.

Du kannst diese Grafik mit der Funktion bwplot() erstellen. Sie zeichnet ein Box-and-Whisker-Diagramm der Out-of-Sample-Scores des Modells. Box-and-Whisker-Diagramme zeigen den Median jeder Verteilung als Linie und den Interquartilsabstand jeder Verteilung als Box um die Medianlinie. Du kannst das Argument metric = "ROC" an bwplot() übergeben, um die Out-of-Sample-ROC-Scores der Modelle zu plotten und das Modell mit dem höchsten medianen ROC auszuwählen.

Wenn du keine Metrik zum Plotten angibst, zeichnet bwplot() automatisch 3 davon.

glmnet als Basismodell

Maschinelles Lernen mit caret in R

Interaktive Übung