Özgüllüğü (specificity) hesapla
Model performansı için farklı ölçüler kullanmak, onu daha doğru değerlendirmeni sağlar. Farklı kullanım durumları için birkaç metrik vardır. Specificity (özgüllük), doğru biçimde tanımlanan gerçek negatif sonuçların oranını ölçer:
$$\text{specificity} = \frac{TN}{TN + FP}$$
Bu formül, özgüllük %100’e yaklaştıkça, yanlış pozitiflerin (FP) 0’a yaklaştığını ima eder.
Bu egzersizde, çapraz doğrulama ile modelinin örneklem dışı özgüllüğünü inceleyeceksin.
Önceden yüklenmiş olarak kredi kartı müşterileri veri kümesinin eğitim verisi customers_train ve aşağıdaki kodla oluşturulmuş bir karar ağacı spesifikasyonu tree_spec bulunuyor:
tree_spec <- decision_tree() %>%
set_engine("rpart") %>%
set_mode("classification")
Bu egzersiz, kursun bir parçasıdır
R ile Ağaç Tabanlı Modellerle Machine Learning
Egzersiz talimatları
customers_trainiçin üç adet CV katlaması (fold) oluştur vefoldsolarak kaydet.tree_specspesifikasyonunu, bir model formülünü, CV katlamalarını ve uygun bir metrik setini alanfit_resamples()ile çapraz doğrulamalıspecificityhesapla. Tüm yordayıcıları kullanarakstill_customeriçin tahmin yap ve sonuçlarıspecificitiesdeğişkenine kaydet.- Sonuçları tek bir fonksiyonla birleştir.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
# Create CV folds of the training data
folds <- ___(customers_train, v = ___)
# Calculate CV specificity
specificities <- ___(___,
___,
resamples = ___,
metrics = ___)
# Collect the metrics
___(specificities)