Візуальна оцінка кредитних моделей

Тепер вам потрібно візуалізувати результати моделі. На графіках ROC по осях X та Y відкладаються дві метрики, з якими ви вже знайомі: частка хибнопозитивних спрацювань (fall-out) та частка істинно позитивних спрацювань (чутливість, sensitivity).

Ви можете побудувати ROC-графік її якості за допомогою такого коду:

fallout, sensitivity, thresholds = roc_curve(y_test, prob_default)
plt.plot(fallout, sensitivity)

Щоб обчислити AUC, скористайтеся roc_auc_score().

Кредитні дані cr_loan_prep, а також набори даних X_test і y_test уже завантажені в робочий простір. Навчена модель LogisticRegression() з іменем clf_logistic також завантажена в робочий простір.

Ця вправа є частиною курсу

Моделювання кредитного ризику в Python

Переглянути курс

Інструкції до вправи

Створіть набір прогнозів ймовірності дефолту та збережіть їх у preds.
Виведіть точність моделі на тестових наборах X і y.
Використайте roc_curve() на тестових даних і ймовірностях дефолту, щоб отримати fallout і sensitivity. Потім побудуйте ROC-криву з fallout на осі x.
Обчисліть AUC моделі, використовуючи тестові дані та ймовірності дефолту, і збережіть значення у auc.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create predictions and store them in a variable
____ = clf_logistic.____(____)

# Print the accuracy score the model
print(clf_logistic.____(____, ____))

# Plot the ROC curve of the probabilities of default
prob_default = preds[:, 1]
fallout, sensitivity, thresholds = ____(____, ____)
plt.plot(fallout, sensitivity, color = 'darkorange')
plt.plot([0, 1], [0, 1], linestyle='--')
plt.____()

# Compute the AUC and store it in a variable
____ = ____(____, ____)

Редагувати та запускати код