Comparer les rapports de modèles
Vous avez utilisé des modèles de régression logistique et des arbres à renforcement de gradient. Il est temps de comparer les deux pour déterminer lequel servira aux prédictions finales.
Une des premières étapes les plus simples pour comparer la capacité de différents modèles à prédire la probabilité de défaut consiste à examiner leurs mesures dans classification_report(). Cela permet de voir, côte à côte, plusieurs métriques de pointage pour chaque modèle. Comme les données et les modèles sont généralement déséquilibrés avec peu de défauts, concentrez-vous pour l'instant sur les métriques liées aux défauts.
Les modèles entraînés clf_logistic et clf_gbt ont été chargés dans l'espace de travail avec leurs prédictions preds_df_lr et preds_df_gbt. Un seuil de 0.4 a été utilisé pour chacun. L'ensemble de test y_test est aussi disponible.
Cette activité fait partie du cours
Modélisation du risque de crédit en Python
Instructions de l’exercice
- Affichez
classification_report()pour les prédictions de la régression logistique. - Affichez
classification_report()pour les prédictions de l'arbre à renforcement de gradient. - Affichez la
macro averagedu score F-1 pour la régression logistique avecprecision_recall_fscore_support(). - Affichez la
macro averagedu score F-1 pour l'arbre à renforcement de gradient avecprecision_recall_fscore_support().
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])