Влияние порогов на качество модели
Порог 0.4 даёт обнадёживающие результаты при оценке модели. Теперь можно оценить финансовые последствия, используя показатель полноты по дефолтам (default recall), который извлекается из отчёта классификации с помощью функции precision_recall_fscore_support().
В этом упражнении вы оцените величину непредвиденных потерь: с помощью default recall определите, какую долю дефолтов вы не обнаружили при новом пороге. Результат будет выражен в денежном эквиваленте и покажет, каковы были бы потери, если бы все необнаруженные дефолты реализовались одновременно.
Средний размер кредита avg_loan_amnt уже вычислен и доступен в рабочей области вместе с preds_df и y_test.
Это упражнение является частью курса
Моделирование кредитного риска на Python
Инструкции к упражнению
- Переопределите значения
loan_status, используя порог0.4. - Сохраните количество дефолтов в
preds_df, выбрав второе значение из результатов подсчёта, и запишите его в переменнуюnum_defaults. - Получите показатель полноты по дефолтам из матрицы классификации и сохраните его как
default_recall. - Оцените непредвиденные потери при новом значении default recall: умножьте
1 - default_recallна средний размер кредита и количество дефолтных кредитов.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Reassign the values of loan status based on the new threshold
____[____] = ____[____].____(lambda x: 1 if x > ____ else 0)
# Store the number of loan defaults from the prediction data
____ = preds_df[____].____()[1]
# Store the default recall from the classification report
____ = ____(____,preds_df[____])[1][1]
# Calculate the estimated impact of the new default recall rate
print(____ * ____ * (1 - ____))