Wizualna ocena modeli kredytowych
Teraz zwizualizujesz wydajność modelu. Na wykresach ROC osie X i Y odpowiadają dwóm metrykom, które już poznałeś: wskaźnikowi fałszywie pozytywnych wyników (fall-out) oraz wskaźnikowi prawdziwie pozytywnych wyników (czułości).
Wykres ROC możesz utworzyć za pomocą następującego kodu:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Do obliczenia wskaźnika AUC użyj funkcji roc_auc_score().
Dane kredytowe cr_loan_prep wraz ze zbiorami X_test i y_test zostały wczytane do przestrzeni roboczej. Wytrenowany model LogisticRegression() o nazwie clf_logistic również jest dostępny w przestrzeni roboczej.
To ćwiczenie jest częścią kursu
Modelowanie ryzyka kredytowego w Pythonie
Instrukcje do ćwiczenia
- Utwórz zestaw prognoz prawdopodobieństwa niewywiązania się ze zobowiązań i zapisz je w zmiennej
preds. - Wyświetl dokładność modelu na zbiorach testowych
Xiy. - Użyj
roc_curve()na danych testowych i prawdopodobieństwach niewywiązania się ze zobowiązań, aby utworzyć zmiennefalloutisensitivity. Następnie narysuj wykres ROC zfalloutna osi X. - Oblicz wskaźnik AUC modelu, używając danych testowych i prawdopodobieństw niewywiązania się ze zobowiązań, i zapisz wynik w zmiennej
auc.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)