Comment les seuils affectent les performances
Fixer le seuil à 0.4 donne des résultats prometteurs pour l’évaluation du modèle. Vous pouvez maintenant évaluer l’impact financier en utilisant le rappel sur les défauts, sélectionné à partir du rapport de classification via la fonction precision_recall_fscore_support().
Pour cela, vous allez estimer le montant de la perte inattendue en utilisant le rappel sur les défauts pour trouver la proportion de défauts que vous n’avez pas détectés avec le nouveau seuil. Vous obtiendrez un montant en dollars qui indique les pertes que vous subiriez si tous les défauts non détectés faisaient défaut simultanément.
La valeur moyenne des prêts, avg_loan_amnt, a été calculée et est disponible dans l’espace de travail, ainsi que preds_df et y_test.
Cet exercice fait partie du cours
Modélisation du risque de crédit en Python
Instructions
- Réattribuez les valeurs de
loan_statusen utilisant le seuil0.4. - Enregistrez le nombre de défauts dans
preds_dfen sélectionnant la deuxième valeur des comptes de valeurs et stockez-la dansnum_defaults. - Récupérez le taux de rappel des défauts à partir de la matrice de classification et stockez-le dans
default_recall. - Estimez la perte inattendue à partir du nouveau rappel des défauts en multipliant
1 - default_recallpar le montant moyen des prêts et par le nombre de prêts en défaut.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Reassign the values of loan status based on the new threshold
____[____] = ____[____].____(lambda x: 1 if x > ____ else 0)
# Store the number of loan defaults from the prediction data
____ = preds_df[____].____()[1]
# Store the default recall from the classification report
____ = ____(____,preds_df[____])[1][1]
# Calculate the estimated impact of the new default recall rate
print(____ * ____ * (1 - ____))