caret oferuje wiele metod porównywania modeli. Wszystkie opierają się na funkcji resamples(). Szczególnie przydatny jest wykres pudełkowy (box-and-whisker), który pozwala porównać rozkład dokładności predykcji (w tym przypadku AUC) dla dwóch modeli.

Zasadniczo zależy ci na modelu z wyższą medianą AUC oraz mniejszym rozstępem między wartością minimalną a maksymalną AUC.

Wykres ten można utworzyć za pomocą funkcji bwplot(), która generuje wykres pudełkowy wyników modelu na danych spoza zbioru treningowego. Na wykresie pudełkowym mediana każdego rozkładu jest zaznaczona linią, a rozstęp międzykwartylowy – prostokątem wokół tej linii. Możesz przekazać argument metric = "ROC" do funkcji bwplot(), aby wyświetlić wyniki ROC modelu na danych spoza zbioru treningowego i wybrać model z najwyższą medianą ROC.

Jeśli nie podasz metryki do wykreślenia, bwplot() automatycznie wyświetli 3 metryki.

Po co ponownie używać trainControl?

Uczenie maszynowe z caret w R

Interaktywne ćwiczenie praktyczne