Vizuální hodnocení úvěrových modelů
Teď přichází čas vizualizovat výkonnost modelu. V ROC grafech představují osy X a Y dvě metriky, které už znáš: míru falešně pozitivních výsledků (fall-out) a míru skutečně pozitivních výsledků (sensitivitu).
ROC graf výkonnosti modelu vytvoříš pomocí následujícího kódu:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
AUC skóre vypočítáš pomocí roc_auc_score().
Úvěrová data cr_loan_prep spolu s datovými sadami X_test a y_test jsou načtena v pracovním prostředí. K dispozici je také natrénovaný model LogisticRegression() s názvem clf_logistic.
Toto cvičení je součástí kurzu
Credit Risk Modeling in Python
Pokyny k cvičení
- Vytvoř sadu predikcí pravděpodobnosti selhání splácení a ulož je do proměnné
preds. - Vypiš skóre přesnosti modelu na testovacích sadách
Xay. - Použij
roc_curve()na testovacích datech a pravděpodobnostech selhání splácení, abys získal/afalloutasensitivity. Poté vytvoř ROC graf sfalloutna ose x. - Vypočítej AUC modelu pomocí testovacích dat a pravděpodobností selhání splácení a výsledek ulož do proměnné
auc.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)