Comparer avec des courbes ROC
Vous allez utiliser des courbes ROC et des scores AUC pour comparer les deux modèles. Parfois, les visualisations aident vraiment à faire comprendre, à vous comme aux utilisateurs métier, les différences entre les modèles envisagés.
Avec le graphique en tête, vous serez mieux équipé pour prendre une décision. Le lift correspond à l’écart entre la courbe et une prédiction aléatoire. L’AUC est la surface située entre la courbe et la prédiction aléatoire. Le modèle qui présente le plus de lift et la plus grande AUC est celui qui prédit le plus précisément.
Les modèles entraînés clf_logistic et clf_gbt ont été chargés dans l’espace de travail. Les prédictions de probabilité de défaut clf_logistic_preds et clf_gbt_preds ont également été chargées.
Cet exercice fait partie du cours
Modélisation du risque de crédit en Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()