Menilai model kredit secara visual

Sekarang, Anda ingin memvisualisasikan kinerja model. Pada bagan ROC, sumbu X dan Y adalah dua metrik yang sudah Anda lihat: tingkat positif palsu (fall-out) dan tingkat positif benar (sensitivitas).

Anda dapat membuat bagan ROC atas kinerjanya dengan kode berikut:

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)

Untuk menghitung skor AUC, gunakan roc_auc_score().

Data kredit cr_loan_prep beserta himpunan data X_test dan y_test telah dimuat ke dalam workspace. Model LogisticRegression() terlatih bernama clf_logistic juga telah dimuat ke dalam workspace.

Latihan ini adalah bagian dari kursus

Pemodelan Risiko Kredit dengan Python

Lihat Kursus

Petunjuk latihan

Buat serangkaian prediksi untuk probabilitas gagal bayar dan simpan pada preds.
Cetak skor akurasi model pada himpunan uji X dan y.
Gunakan roc_curve() pada data uji dan probabilitas gagal bayar untuk membuat fallout dan sensitivity. Lalu, buat plot kurva ROC dengan fallout pada sumbu x.
Hitung AUC model menggunakan data uji dan probabilitas gagal bayar dan simpan pada auc.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Create predictions and store them in a variable
____ = clf_logistic.____(____)

# Print the accuracy score the model
print(clf_logistic.____(____, ____))

# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()

# Compute the AUC and store it in a variable
____ = ____(____, ____)

Edit dan Jalankan Kode