Comparer les rapports de modèles
Vous avez utilisé des modèles de régression logistique et des arbres à gradient boosting. Il est temps de comparer ces deux modèles pour décider lequel servira aux prédictions finales.
L’une des premières étapes les plus simples pour comparer la capacité de différents modèles à prédire la probabilité de défaut consiste à examiner leurs métriques via classification_report(). Cela permet de voir côte à côte de nombreux indicateurs pour chaque modèle. Comme les données et les modèles sont généralement déséquilibrés avec peu de défauts, concentrez-vous pour l’instant sur les métriques de la classe « défaut ».
Les modèles entraînés clf_logistic et clf_gbt ont été chargés dans l’espace de travail, ainsi que leurs prédictions preds_df_lr et preds_df_gbt. Un seuil de 0.4 a été utilisé pour chacun. L’ensemble de test y_test est également disponible.
Cet exercice fait partie du cours
Modélisation du risque de crédit en Python
Instructions
- Affichez le
classification_report()pour les prédictions de la régression logistique. - Affichez le
classification_report()pour les prédictions de l’arbre à gradient boosting. - Affichez la
macro averagedu F-1 score pour la régression logistique à l’aide deprecision_recall_fscore_support(). - Affichez la
macro averagedu F-1 score pour l’arbre à gradient boosting à l’aide deprecision_recall_fscore_support().
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])