Пошук оптимального порога
Уявіть, що ви запускаєте кампанію, щоб запобігти дефолту клієнтів. Ви можете спланувати кампанію, спираючись на свої прогнози. Тому вибір порога є критично важливим для результатів. Якщо ви знаєте витрати й винагороди своєї кампанії, можна емпірично перевірити, який поріг найдоцільніший. У цій вправі маємо таку ситуацію:
Якщо клієнт не переходить у стан дефолту завдяки нашій кампанії, тобто якщо ми правильно передбачили дефолт (true positive), ми отримуємо винагороду 1000€. Якщо ж ми націлюємо кампанію на клієнта, який і так би не здефолтив, тобто якщо ми помилково передбачили дефолт (false positive), ми маємо витрати 250€.
З попередньої вправи ми знаємо, що обмежена модель була найкращою. Тож обчисліть оптимальний поріг лише для цієї моделі. Прогнози збережено в стовпці predNew датафрейму defaultData. Використайте пакет SDMTools.
Ця вправа є частиною курсу
Machine Learning для маркетингової аналітики в R
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
library(SDMTools)
# Confusion matrix with threshold 0.5
confMat <- confusion.matrix(defaultData$PaymentDefault,
defaultData$predNew,
threshold = ___)
confMat