Porovnání pomocí ROC křivek
K porovnání obou modelů použij ROC grafy a skóre AUC. Vizualizace ti — i případným obchodním uživatelům — pomůže lépe pochopit rozdíly mezi jednotlivými modely.
Graf ti usnadní rozhodování. Lift vyjadřuje, jak daleko je křivka od náhodného odhadu. AUC je plocha mezi křivkou a náhodným odhadem. Model s vyšším liftem a vyšším AUC je přesnější v předpovídání.
Natrénované modely clf_logistic a clf_gbt jsou načteny v pracovním prostoru. K dispozici jsou také predikce pravděpodobnosti selhání splácení clf_logistic_preds a clf_gbt_preds.
Toto cvičení je součástí kurzu
Credit Risk Modeling in Python
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()