Jämföra modellrapporter
Du har nu använt logistiska regressionsmodeller och gradientboostade träd. Det är dags att jämföra dem och avgöra vilken modell som ska användas för de slutliga prediktionerna.
Ett av de enklaste första stegen när man jämför olika modellers förmåga att prediktera sannolikheten för fallissemang är att titta på deras mätvärden från classification_report(). På så sätt kan du se många olika utvärderingsmått sida vid sida för varje modell. Eftersom data och modeller vanligtvis är obalanserade med få fallissemang bör du för tillfället fokusera på måtten för fallissemang.
De tränade modellerna clf_logistic och clf_gbt har lästs in i arbetsytan tillsammans med deras prediktioner preds_df_lr och preds_df_gbt. Ett tröskelvärde på 0.4 användes för vardera modell. Testmängden y_test finns också tillgänglig.
Den här övningen är en del av kursen
Kreditriskmodellering i Python
Övningsinstruktioner
- Skriv ut
classification_report()för prediktionerna från den logistiska regressionen. - Skriv ut
classification_report()för prediktionerna från det gradientboostade trädet. - Skriv ut
macro averageför F-1-poängen för den logistiska regressionen med hjälp avprecision_recall_fscore_support(). - Skriv ut
macro averageför F-1-poängen för det gradientboostade trädet med hjälp avprecision_recall_fscore_support().
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])