Comment les seuils influencent la performance
Fixer le seuil à 0.4 donne des résultats prometteurs pour l'évaluation du modèle. Vous pouvez maintenant évaluer l'incidence financière en utilisant le rappel des défauts, extrait du rapport de classification au moyen de la fonction precision_recall_fscore_support().
Pour ce faire, vous estimerez le montant de la perte inattendue en utilisant le rappel des défauts pour déterminer quelle proportion de défauts vous n'avez pas détectés avec le nouveau seuil. Il s'agira d'un montant en dollars qui indique les pertes que vous subiriez si tous les défauts non détectés survenaient en même temps.
La valeur moyenne des prêts, avg_loan_amnt, a été calculée et est disponible dans l'espace de travail, tout comme preds_df et y_test.
Cette activité fait partie du cours
Modélisation du risque de crédit en Python
Instructions de l’exercice
- Réattribuez les valeurs de
loan_statusen utilisant le seuil0.4. - Enregistrez le nombre de défauts dans
preds_dfen sélectionnant la deuxième valeur des décomptes et stockez-la dansnum_defaults. - Obtenez le taux de rappel des défauts à partir de la matrice de classification et stockez-le dans
default_recall. - Estimez la perte inattendue à partir du nouveau rappel des défauts en multipliant
1 - default_recallpar le montant moyen du prêt et le nombre de prêts en défaut.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Reassign the values of loan status based on the new threshold
____[____] = ____[____].____(lambda x: 1 if x > ____ else 0)
# Store the number of loan defaults from the prediction data
____ = preds_df[____].____()[1]
# Store the default recall from the classification report
____ = ____(____,preds_df[____])[1][1]
# Calculate the estimated impact of the new default recall rate
print(____ * ____ * (1 - ____))