caret надає різні методи для порівняння моделей. Усі ці методи ґрунтуються на функції resamples(). Мій улюблений — діаграма «ящик із вусами», яка дає змогу порівняти розподіл точності передбачення (у нашому разі AUC) для двох моделей.

Загалом варто обирати модель із більшою медіаною AUC, а також із меншим діапазоном між мінімальним і максимальним AUC.

Створити таку діаграму можна за допомогою функції bwplot(), яка будує «ящик із вусами» для позавибіркових оцінок моделі. Такі діаграми показують медіану кожного розподілу як лінію та міжквартильний розмах як прямокутник навколо медіани. Ви можете передати аргумент metric = "ROC" до функції bwplot(), щоб побачити графік позавибіркових ROC-оцінок моделі й обрати модель з найвищою медіаною ROC.

Якщо ви не вкажете метрику для побудови графіка, bwplot() автоматично побудує 3 з них.

Навіщо перевикористовувати trainControl?

Machine Learning з пакетом caret в R

Практична інтерактивна вправа