Évaluer visuellement les modèles de crédit
Vous voulez maintenant visualiser la performance du modèle. Dans les graphiques ROC, les axes X et Y correspondent à deux mesures que vous avez déjà vues : le taux de faux positifs (fall-out) et le taux de vrais positifs (sensibilité).
Vous pouvez créer un graphique ROC de sa performance avec le code suivant :
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Pour calculer le score AUC, utilisez roc_auc_score().
Les données de crédit cr_loan_prep ainsi que les ensembles X_test et y_test ont tous été chargés dans l'espace de travail. Un modèle LogisticRegression() entraîné nommé clf_logistic a aussi été chargé dans l'espace de travail.
Cette activité fait partie du cours
Modélisation du risque de crédit en Python
Instructions de l’exercice
- Créez un ensemble de prédictions de probabilité de défaut et enregistrez-le dans
preds. - Affichez l'exactitude du modèle sur les ensembles de test
Xety. - Utilisez
roc_curve()sur les données de test et les probabilités de défaut pour créerfalloutetsensitivity. Ensuite, créez un graphique ROC avecfalloutsur l'axe des x. - Calculez l'AUC du modèle à l'aide des données de test et des probabilités de défaut et enregistrez-la dans
auc.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)