caret menyediakan berbagai metode untuk membandingkan model. Semua metode ini berbasis pada fungsi resamples(). Favorit saya adalah plot box-and-whisker, yang memungkinkan Anda membandingkan sebaran akurasi prediktif (dalam kasus ini AUC) untuk kedua model.

Secara umum, Anda menginginkan model dengan median AUC yang lebih tinggi, serta rentang antara AUC minimum dan maksimum yang lebih kecil.

Anda dapat membuat plot ini menggunakan fungsi bwplot(), yang membuat box-and-whisker plot dari skor out-of-sample model. Box-and-whisker plot menampilkan median setiap distribusi sebagai sebuah garis dan rentang antarkuartil setiap distribusi sebagai sebuah kotak di sekitar garis median. Anda dapat meneruskan argumen metric = "ROC" ke fungsi bwplot() untuk menampilkan plot skor ROC out-of-sample model dan memilih model dengan median ROC tertinggi.

Jika Anda tidak menentukan metrik yang akan diplot, bwplot() akan secara otomatis memplot 3 metrik.

Menyamakan indeks train/test

Machine Learning dengan caret di R

Latihan interaktif praktis