Porównanie raportów modeli
W poprzednich ćwiczeniach korzystałeś z modeli regresji logistycznej i wzmocnionych drzew gradientowych. Czas porównać oba modele i zdecydować, który z nich posłuży do generowania ostatecznych prognoz.
Jednym z najprostszych sposobów porównania zdolności modeli do przewidywania prawdopodobieństwa niewywiązania się z zobowiązań jest analiza metryk z classification_report(). Dzięki temu możesz zestawić ze sobą różne wskaźniki oceny dla każdego modelu. Ponieważ dane i modele są zwykle niezrównoważone – przypadków niewywiązania się z zobowiązań jest niewiele – skup się na razie na metrykach dotyczących właśnie tej klasy.
Wytrenowane modele clf_logistic i clf_gbt zostały wczytane do środowiska roboczego wraz z ich prognozami preds_df_lr i preds_df_gbt. Dla każdego z nich zastosowano próg odcięcia 0.4. Dostępny jest również zbiór testowy y_test.
To ćwiczenie jest częścią kursu
Modelowanie ryzyka kredytowego w Pythonie
Instrukcje do ćwiczenia
- Wydrukuj
classification_report()dla prognoz regresji logistycznej. - Wydrukuj
classification_report()dla prognoz wzmocnionego drzewa gradientowego. - Wydrukuj
macro averagewyniku F-1 dla regresji logistycznej, korzystając zprecision_recall_fscore_support(). - Wydrukuj
macro averagewyniku F-1 dla wzmocnionego drzewa gradientowego, korzystając zprecision_recall_fscore_support().
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])