การคำนวณคะแนน ROC/AUC
แม้ว่าคะแนน Recall จะเป็นเมตริกสำคัญสำหรับวัดความแม่นยำของอัลกอริทึมการจำแนกประเภท แต่ก็ให้น้ำหนักกับจำนวน False Negative มากเกินไป ในทางกลับกัน Precision จะเน้นที่จำนวน False Positive เป็นหลัก
การผสมผสานทั้งสองอย่างนี้ได้ผลลัพธ์เป็น ROC curve ซึ่งช่วยให้วัดได้ทั้ง Recall และ Precision พื้นที่ใต้ ROC curve คือสิ่งที่เราคำนวณเป็นคะแนน AUC
ในแบบฝึกหัดนี้ จะคำนวณคะแนน ROC/AUC ของโมเดลเริ่มต้นโดยใช้ฟังก์ชัน roc_auc_score() ของ sklearn
ตัวแปร features_test และ target_test พร้อมใช้งานใน workspace แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
HR Analytics: การพยากรณ์การลาออกของพนักงานด้วย Python
คำแนะนำการฝึกหัด
- Import ฟังก์ชันสำหรับคำนวณคะแนน ROC/AUC
- ใช้โมเดลเริ่มต้นในการพยากรณ์การลาออก (โดยอิงจาก features ของชุดทดสอบ)
- คำนวณคะแนน ROC/AUC โดยเปรียบเทียบ
target_testกับผลการพยากรณ์
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Import the function to calculate ROC/AUC score
from sklearn.____ import ____
# Use initial model to predict churn (based on features_test)
prediction = model.predict(____)
# Calculate ROC/AUC score by comparing target_test with the prediction
____(____, prediction)