Vergelijken met ROC's
Je gebruikt ROC-grafieken en AUC-scores om de twee modellen te vergelijken. Soms helpen visualisaties jou en potentiële businessgebruikers om de verschillen tussen de modellen beter te begrijpen.
Met de grafiek in je achterhoofd kun je een betere keuze maken. De lift is hoe ver de curve afligt van de willekeurige voorspelling. De AUC is de oppervlakte tussen de curve en de willekeurige voorspelling. Het model met meer lift en een hogere AUC doet het beter in nauwkeurige voorspellingen.
De getrainde modellen clf_logistic en clf_gbt zijn in de workspace geladen. De voorspellingen voor de kans op wanbetaling clf_logistic_preds en clf_gbt_preds zijn ook geladen.
Deze oefening maakt deel uit van de cursus
Kredietrisicomodellering in Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()