Évaluer visuellement les modèles de crédit
Vous souhaitez maintenant visualiser les performances du modèle. Dans les courbes ROC, les axes X et Y correspondent à deux métriques que vous avez déjà vues : le taux de faux positifs (fall-out) et le taux de vrais positifs (sensibilité).
Vous pouvez créer une courbe ROC de ses performances avec le code suivant :
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Pour calculer l’AUC, utilisez roc_auc_score().
Les données de crédit cr_loan_prep, ainsi que les jeux de données X_test et y_test, ont été chargés dans l’espace de travail. Un modèle LogisticRegression() entraîné nommé clf_logistic a également été chargé.
Cet exercice fait partie du cours
Modélisation du risque de crédit en Python
Instructions
- Créez un ensemble de prédictions de probabilité de défaut et stockez-les dans
preds. - Affichez la précision du modèle sur les jeux de test
Xety. - Utilisez
roc_curve()sur les données de test et les probabilités de défaut pour créerfalloutetsensitivity. Puis, tracez une courbe ROC avecfallouten abscisse. - Calculez l’AUC du modèle à l’aide des données de test et des probabilités de défaut et stockez-la dans
auc.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)