การวัดประสิทธิภาพในตัวอย่าง: โมเดลแบบเต็ม
ถึงเวลาเขียนโค้ดอีกครั้ง โดยกลับมาใช้ชุดข้อมูล defaultData เหมือนเดิม
ตอนนี้เราต้องการวัดประสิทธิภาพของโมเดลโดยการคำนวณค่าความถูกต้อง (accuracy) ซึ่งขั้นตอนแรกต้องสร้าง confusion matrix ก่อน
เริ่มจาก logitModelFull โมเดลนี้ถูกกำหนดค่าไว้แล้วและพร้อมใช้งานใน environment ของคุณ
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning for Marketing Analytics ใน R
คำแนะนำการฝึกหัด
- ใช้
predict()เพื่อคำนวณค่าความน่าจะเป็นที่ลูกค้าแต่ละรายจะผิดนัดชำระเงิน - สร้าง confusion matrix โดยใช้ฟังก์ชัน
confusion.matrix()จากไลบรารีSDMToolsทั้งนี้SDMToolsไม่สามารถดาวน์โหลดจาก CRAN ได้อีกต่อไปแล้ว หากต้องการฝึกฝนบนคอมพิวเตอร์ส่วนตัว สามารถติดตั้งแพ็กเกจได้ด้วยคำสั่งremotes::install_version("SDMTools", "1.1-221.2")ซึ่งจะติดตั้งSDMToolsเวอร์ชันที่ใช้ในคอร์สนี้ - กำหนด threshold ที่ค่ามาตรฐาน 0.5
- คำนวณค่าความถูกต้อง (accuracy) จาก confusion matrix
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Make predictions using the full Model
defaultData$predFull <- predict(logitModelFull, type = ___, na.action = ___)
# Construct the in-sample confusion matrix
confMatrixModelFull <- confusion.matrix(defaultData$___,defaultData$___, threshold = ___)
confMatrixModelFull
# Calculate the accuracy for the full Model
accuracyFull <- sum(diag(___)) / ___(___)
accuracyFull