การหาค่า threshold ที่เหมาะสมที่สุด
สมมติว่ากำลังดำเนินแคมเปญเพื่อป้องกันไม่ให้ลูกค้าผิดนัดชำระหนี้ คุณสามารถวางแผนแคมเปญโดยอาศัยผลการทำนาย ซึ่งการเลือกค่า threshold มีผลสำคัญต่อผลลัพธ์ที่ได้ หากทราบต้นทุนและผลตอบแทนของแคมเปญ ก็สามารถตรวจสอบเชิงประจักษ์ได้ว่าค่า threshold ใดเหมาะสมที่สุด ในแบบฝึกหัดนี้ เราเผชิญกับสถานการณ์ต่อไปนี้:
หากลูกค้าไม่ผิดนัดชำระหนี้เพราะแคมเปญของเรา กล่าวคือ เราทำนายการผิดนัดได้ถูกต้อง (true positive) จะได้รับรางวัล 1,000€ แต่หากเราส่งแคมเปญไปยังลูกค้าที่ไม่ได้จะผิดนัดอยู่แล้ว กล่าวคือ เราทำนายผิดว่าลูกค้าจะผิดนัด (false positive) จะเสียค่าใช้จ่าย 250€
จากแบบฝึกหัดที่แล้ว เราทราบว่าโมเดลแบบจำกัด (restricted model) ให้ผลดีที่สุด ดังนั้นให้คำนวณค่า threshold ที่เหมาะสมที่สุดสำหรับโมเดลนั้นเท่านั้น ผลการทำนายถูกเก็บไว้ในคอลัมน์ predNew ของ dataframe defaultData และให้ใช้แพ็กเกจ SDMTools
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning for Marketing Analytics ใน R
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
library(SDMTools)
# Confusion matrix with threshold 0.5
confMat <- confusion.matrix(defaultData$PaymentDefault,
defaultData$predNew,
threshold = ___)
confMat