Kredietmodellen visueel beoordelen
Nu wil je de prestaties van het model visualiseren. In ROC-grafieken zijn de X- en Y-as twee statistieken die je al hebt gezien: de false positive rate (fall-out) en de true positive rate (sensitiviteit).
Je kunt een ROC-grafiek van de prestaties maken met de volgende code:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Om de AUC-score te berekenen, gebruik je roc_auc_score().
De kredietdata cr_loan_prep samen met de gegevenssets X_test en y_test zijn al in de werkruimte geladen. Een getraind LogisticRegression()-model met de naam clf_logistic is ook in de werkruimte geladen.
Deze oefening maakt deel uit van de cursus
Kredietrisicomodellering in Python
Oefeninstructies
- Maak een set voorspellingen voor de defaultwaarschijnlijkheid en sla die op in
preds. - Print de nauwkeurigheidsscore van het model op de testsets
Xeny. - Gebruik
roc_curve()op de testdata en defaultwaarschijnlijkheden omfalloutensensitivityte maken. Maak daarna een ROC-plot metfalloutop de x-as. - Bereken de AUC van het model met testdata en defaultwaarschijnlijkheden en sla die op in
auc.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)