Comparando relatórios de modelos
Você usou modelos de regressão logística e gradient boosted trees. Agora é hora de comparar os dois para decidir qual modelo será usado nas previsões finais.
Um dos primeiros passos mais simples para comparar a capacidade de diferentes modelos de prever a probabilidade de inadimplência é olhar as métricas do classification_report(). Com isso, você consegue ver várias métricas lado a lado para cada modelo. Como os dados e modelos normalmente são desbalanceados, com poucas inadimplências, foque nas métricas para defaults por enquanto.
Os modelos treinados clf_logistic e clf_gbt foram carregados no workspace junto com suas previsões preds_df_lr e preds_df_gbt. Foi usado um cutoff de 0.4 para cada um. O conjunto de teste y_test também está disponível.
Este exercício faz parte do curso
Modelagem de Risco de Crédito em Python
Instruções do exercício
- Imprima o
classification_report()para as previsões da regressão logística. - Imprima o
classification_report()para as previsões do gradient boosted tree. - Imprima a
macro averagedo F-1 Score para a regressão logística usandoprecision_recall_fscore_support(). - Imprima a
macro averagedo F-1 Score para o gradient boosted tree usandoprecision_recall_fscore_support().
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])