caret nabízí různé metody pro porovnávání modelů. Všechny tyto metody jsou založeny na funkci resamples(). Oblíbenou volbou je krabicový graf (box-and-whisker plot), který umožňuje porovnat rozložení prediktivní přesnosti (v tomto případě AUC) pro oba modely.

Obecně platí, že chceš model s vyšší mediánovou hodnotou AUC a zároveň s menším rozsahem mezi minimální a maximální hodnotou AUC.

Tento graf vytvoříš pomocí funkce bwplot(), která zobrazí krabicový graf skóre modelu na vzorku mimo trénovací data. Krabicové grafy znázorňují medián každého rozdělení jako čáru a mezikvartilové rozpětí jako obdélník kolem této čáry. Funkci bwplot() můžeš předat argument metric = "ROC", čímž zobrazíš graf ROC skóre modelu na datech mimo trénovací sadu a snáze vybereš model s nejvyšším mediánovým ROC.

Pokud metriku nezadáš, bwplot() automaticky zobrazí 3 metriky najednou.

Proč znovu použít trainControl?

Machine Learning s balíčkem caret v R

Interaktivní praktické cvičení