caret biedt verschillende methoden om modellen te vergelijken. Al deze methoden zijn gebaseerd op de functie resamples(). Mijn favoriet is de box-and-whisker-plot, waarmee je de verdeling van de voorspellende nauwkeurigheid (in dit geval AUC) voor de twee modellen kunt vergelijken.

In het algemeen wil je het model met de hogere mediane AUC, én een kleinere spreiding tussen de minimale en maximale AUC.

Je kunt deze plot maken met de functie bwplot(), die een box-and-whisker-plot maakt van de out-of-sample-scores van het model. Box-and-whisker-plots tonen de mediaan van elke verdeling als een lijn en het interkwartielbereik van elke verdeling als een doos rond de mediaanlijn. Je kunt het argument metric = "ROC" meegeven aan de functie bwplot() om een plot te tonen van de out-of-sample ROC-scores van het model en het model te kiezen met de hoogste mediane ROC.

Als je geen metric opgeeft om te plotten, zal bwplot() er automatisch 3 plotten.

glmnet als basismodel

Machine Learning met caret in R

Interactieve oefening met praktijkervaring