Confrontare i report dei modelli
Hai usato modelli di regressione logistica e gradient boosted trees. È il momento di confrontarli per capire quale usare per le previsioni finali.
Uno dei primi passi più semplici per confrontare la capacità dei modelli di prevedere la probabilità di default è guardare le metriche di classification_report(). In questo modo puoi vedere, affiancate, diverse metriche di valutazione per ciascun modello. Poiché i dati e i modelli sono di solito sbilanciati con pochi default, per ora concentrati sulle metriche relative ai default.
I modelli addestrati clf_logistic e clf_gbt sono stati caricati nello spazio di lavoro insieme alle loro previsioni preds_df_lr e preds_df_gbt. Per ciascuno è stata usata una soglia (cutoff) di 0.4. Anche il set di test y_test è disponibile.
Questo esercizio fa parte del corso
Credit Risk Modeling in Python
Istruzioni dell'esercizio
- Stampa il
classification_report()per le previsioni della regressione logistica. - Stampa il
classification_report()per le previsioni del gradient boosted tree. - Stampa la
macro averagedell'F-1 Score per la regressione logistica usandoprecision_recall_fscore_support(). - Stampa la
macro averagedell'F-1 Score per il gradient boosted tree usandoprecision_recall_fscore_support().
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])