Evaluarea vizuală a modelelor de credit

Acum vrei să vizualizezi performanța modelului. În graficele ROC, axele X și Y reprezintă două metrici pe care le-ai întâlnit deja: rata fals pozitivă (fall-out) și rata adevărat pozitivă (sensibilitatea).

Poți crea un grafic ROC al performanței cu următorul cod:

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)

Pentru a calcula scorul AUC, folosești roc_auc_score().

Datele de credit cr_loan_prep, împreună cu seturile de date X_test și y_test, au fost încărcate în spațiul de lucru. Un model LogisticRegression() antrenat, numit clf_logistic, a fost de asemenea încărcat în spațiul de lucru.

Acest exercițiu face parte din cursul

Modelarea Riscului de Credit în Python

Vezi cursul

Instrucțiuni pentru exercițiu

Creează un set de predicții pentru probabilitatea de nerambursare și stochează-le în preds.
Afișează scorul de acuratețe al modelului pe seturile de testare X și y.
Folosește roc_curve() pe datele de testare și probabilitățile de nerambursare pentru a crea fallout și sensitivity, apoi trasează un grafic ROC cu fallout pe axa x.
Calculează AUC-ul modelului folosind datele de testare și probabilitățile de nerambursare și stochează rezultatul în auc.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create predictions and store them in a variable
____ = clf_logistic.____(____)

# Print the accuracy score the model
print(clf_logistic.____(____, ____))

# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()

# Compute the AUC and store it in a variable
____ = ____(____, ____)

Editează și rulează codul