Kreditmodelle visuell bewerten
Jetzt möchtest du die Leistung des Modells visualisieren. In ROC-Diagrammen sind die X- und Y-Achse zwei Kennzahlen, die du dir bereits angesehen hast: die False-Positive-Rate (Fall-out) und die True-Positive-Rate (Sensitivity).
Du kannst ein ROC-Diagramm der Modellleistung mit folgendem Code erstellen:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Um den AUC-Score zu berechnen, verwendest du roc_auc_score().
Die Kreditdaten cr_loan_prep sowie die Datensätze X_test und y_test wurden bereits in den Workspace geladen. Ein trainiertes LogisticRegression()-Modell namens clf_logistic wurde ebenfalls in den Workspace geladen.
Diese Übung ist Teil des Kurses
Kreditrisikomodellierung in Python
Anleitung zur Übung
- Erstelle Vorhersagen für die Ausfallwahrscheinlichkeit und speichere sie in
preds. - Gib den Accuracy-Score des Modells auf den Testmengen
Xundyaus. - Verwende
roc_curve()auf den Testdaten und den Ausfallwahrscheinlichkeiten, umfalloutundsensitivityzu erzeugen. Erstelle anschließend ein ROC-Diagramm mitfalloutauf der x-Achse. - Berechne die AUC des Modells anhand der Testdaten und der Ausfallwahrscheinlichkeiten und speichere sie in
auc.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)