Поиск оптимального порога
Представьте, что вы проводите кампанию с целью предотвратить дефолт клиентов. Планировать кампанию можно на основе ваших прогнозов. При этом выбор порога классификации имеет ключевое значение для результатов. Если вы знаете затраты и выгоды от кампании, можно эмпирически определить наиболее разумный порог. В этом упражнении рассматривается следующий сценарий:
Если клиент не допускает дефолт благодаря нашей кампании, то есть если мы правильно предсказали дефолт (истинно положительный результат), мы получаем вознаграждение в размере 1000€. Если же мы нацелили кампанию на клиента, который всё равно не допустил бы дефолта, то есть ошибочно предсказали дефолт (ложноположительный результат), мы несём затраты в размере 250€.
Из предыдущего упражнения мы знаем, что ограниченная модель оказалась наилучшей. Поэтому рассчитайте оптимальный порог только для неё. Прогнозы хранятся в столбце predNew датафрейма defaultData. Используйте пакет SDMTools.
Это упражнение является частью курса
Машинное обучение для маркетинговой аналитики на R
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
library(SDMTools)
# Confusion matrix with threshold 0.5
confMat <- confusion.matrix(defaultData$PaymentDefault,
defaultData$predNew,
threshold = ___)
confMat