สร้าง Box-and-Whisker Plot
caret มีวิธีหลากหลายสำหรับการเปรียบเทียบโมเดล ซึ่งทั้งหมดอ้างอิงจากฟังก์ชัน resamples() หนึ่งในวิธีที่ดีที่สุดคือ box-and-whisker plot ซึ่งช่วยให้เปรียบเทียบการกระจายของความแม่นยำในการพยากรณ์ (ในที่นี้คือค่า AUC) ของทั้งสองโมเดลได้อย่างชัดเจน
โดยทั่วไป ควรเลือกโมเดลที่มีค่า AUC มัธยฐาน (median) สูงกว่า และมีช่วงระหว่างค่าต่ำสุดกับสูงสุดที่แคบกว่า
สามารถสร้างกราฟนี้ได้ด้วยฟังก์ชัน bwplot() ซึ่งแสดง box-and-whisker plot ของคะแนน out-of-sample ของโมเดล โดย box-and-whisker plot จะแสดงค่ามัธยฐานของแต่ละการกระจายเป็นเส้น และแสดงช่วง interquartile range เป็นกล่องรอบเส้นมัธยฐาน สามารถส่งอาร์กิวเมนต์ metric = "ROC" เข้าไปในฟังก์ชัน bwplot() เพื่อแสดงกราฟของคะแนน ROC แบบ out-of-sample และเลือกโมเดลที่มีค่า ROC มัธยฐานสูงที่สุด
หากไม่ระบุ metric ที่ต้องการพล็อต bwplot() จะแสดงกราฟให้อัตโนมัติ 3 ตัว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Machine Learning ด้วย caret ใน R
คำแนะนำการฝึกหัด
ส่งออบเจกต์ resamples ไปยังฟังก์ชัน bwplot() เพื่อสร้าง box-and-whisker plot จากนั้นดูกราฟที่ได้และสังเกตว่าโมเดลใดมีค่า ROC statistic มัธยฐานสูงกว่า อย่าลืมระบุ metric ที่ต้องการพล็อตด้วย
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create bwplot