Comparer avec des courbes ROC
Vous devriez utiliser des courbes ROC et les scores AUC pour comparer les deux modèles. Parfois, les visuels aident vraiment vous et les parties prenantes d'affaires à comprendre les différences entre les modèles envisagés.
Avec le graphique en tête, vous serez mieux outillé pour prendre une décision. Le lift correspond à la distance entre la courbe et une prédiction aléatoire. L'AUC est la surface entre la courbe et la prédiction aléatoire. Le modèle qui présente le plus de lift et une AUC plus élevée est celui qui fait les prédictions les plus justes.
Les modèles entraînés clf_logistic et clf_gbt ont été chargés dans l'espace de travail. Les prédictions de probabilité de défaut clf_logistic_preds et clf_gbt_preds ont aussi été chargées.
Cette activité fait partie du cours
Modélisation du risque de crédit en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()