Визуальная оценка кредитных моделей
Теперь давайте визуализируем качество работы модели. На ROC-кривой по осям X и Y откладываются две метрики, с которыми вы уже знакомы: доля ложноположительных результатов (fall-out) и доля истинноположительных результатов (чувствительность).
Построить ROC-кривую можно с помощью следующего кода:
fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)
Для вычисления площади под ROC-кривой (AUC) используйте функцию roc_auc_score().
Кредитные данные cr_loan_prep, а также наборы данных X_test и y_test уже загружены в рабочую среду. Там же доступна обученная модель LogisticRegression() с именем clf_logistic.
Это упражнение является частью курса
Моделирование кредитного риска на Python
Инструкции к упражнению
- Сформируйте набор предсказаний вероятности дефолта и сохраните их в переменную
preds. - Выведите точность модели на тестовых наборах
Xиy. - Примените
roc_curve()к тестовым данным и вероятностям дефолта, чтобы получитьfalloutиsensitivity. Затем постройте ROC-кривую, разместивfalloutна оси X. - Вычислите AUC модели, используя тестовые данные и вероятности дефолта, и сохраните результат в переменную
auc.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Create predictions and store them in a variable
____ = clf_logistic.____(____)
# Print the accuracy score the model
print(clf_logistic.____(____, ____))
# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()
# Compute the AUC and store it in a variable
____ = ____(____, ____)