caret cung cấp nhiều phương pháp để so sánh mô hình. Tất cả đều dựa trên hàm resamples(). Cách tôi thích là biểu đồ hộp (box-and-whisker), giúp bạn so sánh phân phối độ chính xác dự đoán (trong trường hợp này là AUC) của hai mô hình.

Nói chung, bạn muốn mô hình có AUC trung vị cao hơn, đồng thời khoảng cách giữa AUC nhỏ nhất và lớn nhất nhỏ hơn.

Bạn có thể vẽ biểu đồ này bằng hàm bwplot(), hàm này tạo biểu đồ hộp cho các điểm số ngoài mẫu của mô hình. Biểu đồ hộp hiển thị trung vị của mỗi phân phối bằng một đường kẻ và khoảng tứ phân vị của mỗi phân phối bằng một hộp bao quanh đường trung vị. Bạn có thể truyền đối số metric = "ROC" cho hàm bwplot() để hiển thị biểu đồ điểm số ROC ngoài mẫu của mô hình và chọn mô hình có ROC trung vị cao nhất.

Nếu bạn không chỉ định metric để vẽ, bwplot() sẽ tự động vẽ 3 metric.

Vì sao nên tái sử dụng trainControl?

Machine Learning với caret trong R

Bài tập tương tác thực hành