Valutare visivamente i modelli di credito
Ora vuoi visualizzare le prestazioni del modello. Nei grafici ROC, gli assi X e Y sono due metriche che hai già visto: il tasso di falsi positivi (fall-out) e il tasso di veri positivi (sensibilità).
Puoi creare un grafico ROC delle sue prestazioni con il seguente codice:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Per calcolare l'AUC, usa roc_auc_score().
I dati di credito cr_loan_prep insieme agli insiemi di dati X_test e y_test sono già stati caricati nell'ambiente di lavoro. Un modello LogisticRegression() addestrato chiamato clf_logistic è stato anch'esso caricato nell'ambiente.
Questo esercizio fa parte del corso
Credit Risk Modeling in Python
Istruzioni dell'esercizio
- Crea un insieme di predizioni della probabilità di default e salvalo in
preds. - Stampa l'accuracy del modello sugli insiemi di test
Xey. - Usa
roc_curve()sui dati di test e sulle probabilità di default per crearefalloutesensitivity. Poi, crea un grafico ROC confalloutsull'asse x. - Calcola l'AUC del modello usando i dati di test e le probabilità di default e salvala in
auc.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)