Сравнение с помощью ROC-кривых
Для сравнения двух моделей используйте ROC-кривые и значения AUC. Визуализация помогает вам и бизнес-пользователям лучше понять различия между рассматриваемыми моделями.
Глядя на график, вам будет проще принять обоснованное решение. Подъём (lift) — это отклонение кривой от линии случайного предсказания. AUC — это площадь между кривой и этой линией. Модель с большим подъёмом и более высоким значением AUC точнее делает предсказания.
Обученные модели clf_logistic и clf_gbt уже загружены в рабочую среду. Также загружены предсказания вероятности дефолта: clf_logistic_preds и clf_gbt_preds.
Это упражнение является частью курса
Моделирование кредитного риска на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# ROC chart components
fallout_lr, sensitivity_lr, thresholds_lr = ____(____, ____)
fallout_gbt, sensitivity_gbt, thresholds_gbt = ____(____, ____)
# ROC Chart with both
plt.plot(____, ____, color = 'blue', label='%s' % 'Logistic Regression')
plt.plot(____, ____, color = 'green', label='%s' % 'GBT')
plt.plot([0, 1], [0, 1], linestyle='--', label='%s' % 'Random Prediction')
plt.title("ROC Chart for LR and GBT on the Probability of Default")
plt.xlabel('Fall-out')
plt.ylabel('Sensitivity')
plt.legend()
plt.show()