Kurva ROC untuk membandingkan model regresi logistik

Kurva ROC dapat dibuat dengan mudah menggunakan paket pROC di R. Mari kita lihat apakah ada perbedaan besar antara kurva ROC untuk empat model regresi logistik yang digunakan sebelumnya di kursus ini. Sedikit pengantar:

predictions_logit berisi prediksi probability of default (PD) menggunakan tautan logit bawaan dan memuat variabel age, emp_cat, ir_cat, dan loan_amnt.
predictions_probit berisi prediksi PD menggunakan probit dan memuat variabel age, emp_cat, ir_cat, dan loan_amnt.
predictions_cloglog berisi prediksi PD menggunakan tautan cloglog dan memuat variabel age, emp_cat, ir_cat, dan loan_amnt.
predictions_all_full berisi prediksi PD menggunakan tautan logit bawaan dan memuat semua tujuh variabel dalam himpunan data.

Anda akan terlebih dahulu menggambar kurva ROC untuk keempat model ini dalam satu plot. Setelah itu, Anda akan melihat luas di bawah kurva.

Latihan ini adalah bagian dari kursus

Pemodelan Risiko Kredit di R

Lihat Kursus

Petunjuk latihan

Muat paket pROC di konsol R Anda.
Bentuk objek ROC untuk keempat model regresi logistik menggunakan fungsi roc(response, predictor). Ingat bahwa respons adalah indikator status pinjaman pada test_set, yang dapat diperoleh melalui test_set$loan_status.
Gunakan objek yang telah dibuat untuk membentuk kurva ROC. Untuk menggambar semuanya dalam satu plot, gunakan plot() untuk kurva ROC pertama yang digambar (untuk ROC_logit), dan gunakan [lines()](https://www.rdocumentation.org/packages/graphics/functions/lines untuk menambahkan kurva ROC) untuk tiga model lainnya pada plot yang sama.
Gunakan argumen col untuk mengubah warna kurva ROC_probit menjadi "blue", ROC_cloglog menjadi "red", dan ROC_all_full menjadi "green". Perhatikan bahwa, berbeda dengan yang dibahas di video, label sumbu x adalah Specificity dan bukan "1-Specificity", sehingga menghasilkan sumbu yang bergerak dari 1 di sisi kiri ke 0 di sisi kanan.
Tampaknya fungsi tautan tidak memiliki dampak besar pada ROC di sini, dan pemicu utama ROC yang lebih baik adalah penyertaan lebih banyak variabel dalam suatu model. Untuk memperoleh gambaran yang tepat tentang kinerja kurva ROC, lihat AUC menggunakan fungsi auc().

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Load the pROC-package


# Construct the objects containing ROC-information
ROC_logit <- roc(test_set$loan_status, predictions_logit)
ROC_probit <- 
ROC_cloglog <-
ROC_all_full <- 

# Draw all ROCs on one plot
plot(___)
lines(___, col=___)
lines(___, col=___)
lines(___, col=___)

# Compute the AUCs

Edit dan Jalankan Kode