พล็อต ROC Curve
ดังที่เห็นในวิดีโอ ROC curve เป็นเครื่องมือที่มีประโยชน์มากสำหรับสรุปประสิทธิภาพของตัวจำแนกประเภทในทุก threshold ที่เป็นไปได้ ซึ่งช่วยประหยัดเวลาที่ต้องเสียไปกับการคำนวณการพยากรณ์คลาสสำหรับหลาย threshold และตรวจสอบ confusion matrix ในแต่ละครั้ง
แพ็กเกจที่แนะนำสำหรับคำนวณ ROC curve คือ caTools ซึ่งมีฟังก์ชันชื่อ colAUC() ฟังก์ชันนี้ใช้งานง่ายและสามารถคำนวณ ROC curve สำหรับตัวพยากรณ์หลายตัวพร้อมกันได้ ในกรณีนี้จำเป็นต้องคำนวณ ROC curve สำหรับตัวพยากรณ์เพียงตัวเดียว เช่น:
colAUC(predicted_probabilities, actual, plotROC = TRUE)
ฟังก์ชันจะคืนค่าคะแนนที่เรียกว่า AUC (จะอธิบายเพิ่มเติมในภายหลัง) และอาร์กิวเมนต์ plotROC = TRUE จะแสดงกราฟ ROC curve สำหรับการตรวจสอบด้วยสายตา
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning ด้วย caret ใน R
คำแนะนำการฝึกหัด
model, test และ train จากแบบฝึกหัดที่แล้วซึ่งใช้ข้อมูล sonar ถูกโหลดไว้ใน workspace แล้ว
- พยากรณ์ความน่าจะเป็น (กล่าวคือ
type = "response") บนชุดข้อมูลทดสอบ แล้วเก็บผลลัพธ์ไว้เป็นp - สร้าง ROC curve โดยใช้ความน่าจะเป็นที่พยากรณ์ได้จากชุดข้อมูลทดสอบ
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Predict on test: p
# Make ROC curve