Порівняння за ROC-кривими
Використайте ROC-діаграми та значення AUC, щоб порівняти дві моделі. Інколи візуалізації справді допомагають вам і потенційним бізнес-користувачам побачити різницю між моделями, які розглядаються.
Маючи графік перед очима, вам буде легше ухвалити рішення. Підйом (lift) — це наскільки далеко крива від випадкового передбачення. AUC — це площа між кривою та випадковим передбаченням. Модель із більшим підйомом і вищим AUC краще робить точні прогнози.
Натреновані моделі clf_logistic і clf_gbt завантажено в робочий простір. Також завантажено передбачення ймовірності дефолту clf_logistic_preds і clf_gbt_preds.
Ця вправа є частиною курсу
Моделювання кредитного ризику в Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()