Modellberichte vergleichen
Du hast logistische Regressionsmodelle und Gradient Boosted Trees verwendet. Jetzt ist es Zeit, die beiden zu vergleichen, um zu entscheiden, welches Modell für die finalen Vorhersagen genutzt wird.
Ein einfacher erster Schritt, um die Fähigkeit verschiedener Modelle zur Vorhersage der Ausfallwahrscheinlichkeit zu vergleichen, ist ein Blick auf die Kennzahlen aus dem classification_report(). Damit siehst du viele verschiedene Metriken für jedes Modell nebeneinander. Da die Daten und Modelle in der Regel unausgewogen sind und es nur wenige Ausfälle gibt, konzentriere dich zunächst auf die Metriken für Ausfälle.
Die trainierten Modelle clf_logistic und clf_gbt sind zusammen mit ihren Vorhersagen preds_df_lr und preds_df_gbt in den Workspace geladen. Für beide wurde ein Cutoff von 0.4 verwendet. Der Testsatz y_test ist ebenfalls verfügbar.
Diese Übung ist Teil des Kurses
Kreditrisikomodellierung in Python
Anleitung zur Übung
- Gib den
classification_report()für die Vorhersagen der logistischen Regression aus. - Gib den
classification_report()für die Vorhersagen des Gradient Boosted Tree aus. - Gib den
macro averagedes F1-Scores für die logistische Regression mitprecision_recall_fscore_support()aus. - Gib den
macro averagedes F1-Scores für den Gradient Boosted Tree mitprecision_recall_fscore_support()aus.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Print the logistic regression classification report
target_names = ['Non-Default', 'Default']
print(____(____, ____['loan_status'], target_names=target_names))
# Print the gradient boosted tree classification report
print(____(____, ____['loan_status'], target_names=target_names))
# Print the default F-1 scores for the logistic regression
print(____(____,____['loan_status'], average = 'macro')[2])
# Print the default F-1 scores for the gradient boosted tree
print(____(____,____['loan_status'], average = 'macro')[2])