trainControl’u özelleştirme

Videoda gördüğün gibi, ROC eğrisi altındaki alan (AUC), bir modelin pozitif sınıfı negatif sınıftan ayırt etme becerisini tek bir sayıyla özetleyen çok kullanışlı bir ölçüttür (ör. mayınları kayalardan ayırmak). AUC’nin 0.5 olması rastgele tahminden daha iyi değildir, 1.0 olması mükemmel öngörü performansına, 0.0 olması ise tamamen ters öngörüye işaret eder (bu çok nadirdir).

Bu, modelleri sabit bir eşikte doğruluklarına göre sıralamaktan genellikle çok daha yararlıdır; çünkü farklı modeller, o modele en uygun sınıflandırma eşiğini bulmak için farklı kalibrasyon adımları (her adımda bir karmaşıklık matrisi incelemek) gerektirebilir.

Modellerinin hiperparametrelerini ayarlarken, AUC’yi (doğruluk yerine) kullanmak için caret paketindeki trainControl() fonksiyonunu kullanabilirsin. twoClassSummary() yardımcı fonksiyonu bunu kolayca yapmanı sağlar.

twoClassSummary() kullanırken, mutlaka classProbs = TRUE argümanını eklemeyi unutma; aksi halde modelin hata verir! (Sadece sınıf tahminleriyle AUC hesaplanamaz. Sınıf olasılıklarına da ihtiyacın var.)

Bu egzersiz

R ile caret kullanarak Machine Learning

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

trainControl nesnesini defaultSummary yerine twoClassSummary kullanacak şekilde özelleştir.
10 katlı çapraz doğrulama kullan.
trainControl() fonksiyonuna sınıf olasılıklarını döndürmesini söylediğinden emin ol.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Create trainControl object: myControl
myControl <- trainControl(
  method = "cv",
  number = ___,
  summaryFunction = defaultSummary,
  classProbs = ___, # IMPORTANT!
  verboseIter = TRUE
)

Kodu Düzenle ve Çalıştır