caret, modelleri karşılaştırmak için kullanabileceğin çeşitli yöntemler sunar. Bu yöntemlerin hepsi resamples() fonksiyonuna dayanır. Benim favorim, iki model için kestirim doğruluğu dağılımını (bu örnekte AUC) karşılaştırmana olanak tanıyan kutu-bıyık grafiği.

Genel olarak, daha yüksek medyan AUC’ye ve min ile max AUC arasındaki aralığı daha küçük olana sahip modeli istersin.

Bu grafiği, modelin örneklem dışı puanlarının bir kutu-bıyık grafiğini çizen bwplot() fonksiyonunu kullanarak oluşturabilirsin. Kutu-bıyık grafikleri, her dağılımın medyanını bir çizgi olarak ve her dağılımın çeyrekler arası aralığını medyan çizgisinin etrafındaki bir kutu olarak gösterir. bwplot() fonksiyonuna metric = "ROC" argümanını vererek modelin örneklem dışı ROC puanlarının grafiğini gösterebilir ve en yüksek medyan ROC’a sahip modeli seçebilirsin.

Eğer çizilecek metriği belirtmezsen, bwplot() bunu otomatik olarak 3 metrik için çizer.

glmnet'i bir temel model olarak kullanmak

R ile caret kullanarak Machine Learning

Uygulamalı interaktif egzersiz