Lojistik regresyon modellerini karşılaştırmak için ROC eğrileri

R'da pROC paketiyle ROC eğrileri kolayca oluşturulabilir. Bu kursta daha önce kullandığımız dört lojistik regresyon modelinin ROC eğrileri arasında büyük bir fark olup olmadığına bakalım. Küçük bir not:

predictions_logit, varsayılan logit bağlantısıyla ve age, emp_cat, ir_cat ile loan_amnt değişkenleri kullanılarak elde edilmiş temerrüt olasılığı (PD) tahminlerini içerir.
predictions_probit, probit bağlantısıyla ve age, emp_cat, ir_cat ile loan_amnt değişkenleri kullanılarak elde edilmiş PD tahminlerini içerir.
predictions_cloglog, cloglog bağlantısıyla ve age, emp_cat, ir_cat ile loan_amnt değişkenleri kullanılarak elde edilmiş PD tahminlerini içerir.
predictions_all_full, varsayılan logit bağlantısıyla ve veri kümesindeki yedi değişkenin tamamı kullanılarak elde edilmiş PD tahminlerini içerir.

Önce bu dört modelin ROC eğrilerini tek bir grafikte çizeceksin. Ardından, eğrinin altındaki alana bakacaksın.

Bu egzersiz

R ile Kredi Riski Modellemesi

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

pROC paketini R konsolunda yükle.
Dört lojistik regresyon modeli için roc(response, predictor) fonksiyonunu kullanarak ROC nesneleri oluştur. Yanıtın test_set içindeki kredi durumu göstergesi olduğunu ve test_set$loan_status ile elde edilebildiğini unutma.
Oluşturduğun nesneleri kullanarak ROC eğrilerini çiz. Hepsini tek bir grafikte göstermek için ilk çizilecek ROC eğrisi (ROC_logit) için plot() kullan; diğer üç modeli aynı grafiğe eklemek için lines() kullan.
col argümanını kullanarak ROC_probit eğrisinin rengini "blue", ROC_cloglogun rengini "red" ve ROC_all_fullun rengini "green" yap. Videoda konuşulandan farklı olarak, x-ekseni etiketinin Özgüllük (Specificity) olduğunu ve "1-Specificity" olmadığını; bu yüzden eksenin sol tarafta 1'den sağ tarafta 0'a doğru gittiğini unutma.
Burada bağlantı fonksiyonunun ROC üzerinde büyük bir etkisi yok gibi görünüyor; daha iyi bir ROC’un ana sebebi modele daha fazla değişken eklemek. ROC eğrilerinin performansını net görmek için auc() fonksiyonunu kullanarak AUC’lere bak.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

# Load the pROC-package


# Construct the objects containing ROC-information
ROC_logit <- roc(test_set$loan_status, predictions_logit)
ROC_probit <- 
ROC_cloglog <-
ROC_all_full <- 

# Draw all ROCs on one plot
plot(___)
lines(___, col=___)
lines(___, col=___)
lines(___, col=___)

# Compute the AUCs

Kodu Düzenle ve Çalıştır