Vergleich mit ROCs
Du solltest ROC-Diagramme und AUC-Werte verwenden, um die beiden Modelle zu vergleichen. Manchmal helfen Visualisierungen dir und potenziellen Business-Usern sehr, die Unterschiede zwischen den in Frage kommenden Modellen zu verstehen.
Mit der Grafik im Hinterkopf bist du besser gerüstet, eine Entscheidung zu treffen. Der Lift ist der Abstand der Kurve zur zufälligen Vorhersage. Die AUC ist die Fläche zwischen der Kurve und der zufälligen Vorhersage. Das Modell mit mehr Lift und höherer AUC trifft seine Vorhersagen genauer.
Die trainierten Modelle clf_logistic und clf_gbt wurden in den Workspace geladen. Auch die Vorhersagen für die Ausfallwahrscheinlichkeit clf_logistic_preds und clf_gbt_preds wurden geladen.
Diese Übung ist Teil des Kurses
Kreditrisikomodellierung in Python
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()