ชุดทดสอบ vs. ชุดฝึก

หลังจากทำความสะอาดข้อมูลและเตรียมข้อมูลพร้อมสำหรับการสร้างโมเดลแล้ว หนึ่งในขั้นตอนที่สำคัญที่สุดคือการแบ่งข้อมูลออกเป็น ชุดทดสอบ และ ชุดฝึก จากนั้นอย่าแตะต้องข้อมูลชุดทดสอบจนกว่าจะคิดว่าได้โมเดลที่ดีแล้ว ระหว่างที่กำลังสร้างโมเดลและตั้งสมมติฐาน ให้ทดสอบบนข้อมูลชุดฝึกก่อนเพื่อดูประสิทธิภาพเบื้องต้น

เมื่อได้โมเดลที่พอใจแล้ว ค่อยนำมาทดสอบกับข้อมูลชุดทดสอบเพื่อดูว่าทำนายข้อมูลใหม่ได้ดีแค่ไหน ข้อมูลที่โมเดลไม่เคยเห็นมาก่อนนี้จะให้ภาพที่สมจริงกว่ามากเกี่ยวกับประสิทธิภาพของโมเดลในโลกจริงเมื่อต้องทำนายหรือจำแนกข้อมูลใหม่

ใน Spark สิ่งสำคัญคือต้องแบ่งข้อมูล หลังจาก การแปลงข้อมูลทั้งหมดเสร็จสิ้นแล้ว เนื่องจากการดำเนินการอย่าง StringIndexer อาจให้ค่า index ที่แตกต่างกันได้แม้รับรายการ string ชุดเดิม

เหตุใดการใช้ชุดทดสอบในการประเมินโมเดลจึงมีความสำคัญ?