Özgüllüğü (specificity) hesapla
Model performansı için farklı ölçüler kullanmak, onu daha doğru değerlendirmeni sağlar. Farklı kullanım durumları için birkaç metrik vardır. Specificity (özgüllük), doğru biçimde tanımlanan gerçek negatif sonuçların oranını ölçer:
$$\text{specificity} = \frac{TN}{TN + FP}$$
Bu formül, özgüllük %100’e yaklaştıkça, yanlış pozitiflerin (FP) 0’a yaklaştığını ima eder.
Bu egzersizde, çapraz doğrulama ile modelinin örneklem dışı özgüllüğünü inceleyeceksin.
Önceden yüklenmiş olarak kredi kartı müşterileri veri kümesinin eğitim verisi customers_train ve aşağıdaki kodla oluşturulmuş bir karar ağacı spesifikasyonu tree_spec bulunuyor:
tree_spec <- decision_tree() %>%
set_engine("rpart") %>%
set_mode("classification")
Bu egzersiz
R ile Ağaç Tabanlı Modellerle Machine Learning
kursunun bir parçasıdırEgzersiz talimatları
customers_trainiçin üç adet CV katlaması (fold) oluştur vefoldsolarak kaydet.tree_specspesifikasyonunu, bir model formülünü, CV katlamalarını ve uygun bir metrik setini alanfit_resamples()ile çapraz doğrulamalıspecificityhesapla. Tüm yordayıcıları kullanarakstill_customeriçin tahmin yap ve sonuçlarıspecificitiesdeğişkenine kaydet.- Sonuçları tek bir fonksiyonla birleştir.
Uygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
# Create CV folds of the training data
folds <- ___(customers_train, v = ___)
# Calculate CV specificity
specificities <- ___(___,
___,
resamples = ___,
metrics = ___)
# Collect the metrics
___(specificities)