Porównanie za pomocą krzywych ROC
Do porównania dwóch modeli użyj wykresów ROC i wskaźników AUC. Wizualizacje potrafią naprawdę ułatwić zrozumienie różnic między rozważanymi modelami – zarówno tobie, jak i potencjalnym użytkownikom biznesowym.
Mając wykres przed oczami, łatwiej podejmiesz decyzję. Lift to odległość krzywej od linii losowego przewidywania. AUC to pole między krzywą a tą linią. Model z większym liftem i wyższym AUC lepiej radzi sobie z dokładnym przewidywaniem.
Wytrenowane modele clf_logistic i clf_gbt zostały załadowane do środowiska pracy. Załadowano również predykcje prawdopodobieństwa niewywiązania się ze zobowiązań: clf_logistic_preds i clf_gbt_preds.
To ćwiczenie jest częścią kursu
Modelowanie ryzyka kredytowego w Pythonie
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()