ควรใช้ LOOCV เมื่อใด

ข้อใดต่อไปนี้เป็นเหตุผลที่ ไม่ควร รัน LOOCV กับชุดข้อมูล X ที่กำหนดให้ โหลดข้อมูล X ไว้ให้แล้ว สามารถสำรวจได้ตามต้องการ

A: ชุดข้อมูล X มีจุดข้อมูลถึง 122,624 จุด ซึ่งอาจใช้ทรัพยากรการคำนวณสูงและทำให้ช้า
B: ไม่สามารถใช้ LOOCV กับปัญหาการจำแนกประเภทได้
C: ต้องการทดสอบค่าต่าง ๆ ของพารามิเตอร์ 15 ตัวพร้อมกัน

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การตรวจสอบความถูกต้องของโมเดลใน Python

ดูคอร์ส

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง

เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา

เริ่มแบบฝึกหัด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

การตรวจสอบความถูกต้องของโมเดลใน Python

SkillTag.level.intermediateSkillTag.label

4.9+

เริ่มคอร์สฟรี

ก่อนที่จะตรวจสอบความถูกต้องของโมเดลได้ เราต้องเข้าใจวิธีสร้างและใช้งานโมเดลก่อน บทนี้จะแนะนำการรันโมเดล Regression และ Classification ใน scikit-learn ซึ่งเป็นพื้นฐานที่จะใช้ตลอดบทที่เหลือของคอร์ส

Exercise 1: บทนำสู่การตรวจสอบความถูกต้องของโมเดล Exercise 2: ขั้นตอนการสร้างโมเดล Exercise 3: ข้อมูลที่เคยเห็นและข้อมูลที่ไม่เคยเห็น Exercise 4: โมเดล Regression Exercise 5: กำหนดพารามิเตอร์และ fit โมเดล Exercise 6: ความสำคัญของฟีเจอร์Exercise 7: โมเดลการจำแนกประเภท Exercise 8: การพยากรณ์แบบ Classification Exercise 9: การนำพารามิเตอร์ของโมเดลกลับมาใช้ใหม่Exercise 10: Random forest classifier

บทนี้มุ่งเน้นพื้นฐานของ Model Validation ตั้งแต่การแบ่งข้อมูลออกเป็นชุด Training, Validation และ Testing ไปจนถึงการทำความเข้าใจ Bias-Variance Tradeoff เพื่อวางรากฐานสำหรับเทคนิค K-Fold Validation และ Leave-One-Out Validation ที่จะฝึกในบทที่สาม

Exercise 1: การสร้างชุดข้อมูล train, test และ validation Exercise 2: สร้าง holdout set หนึ่งชุด Exercise 3: สร้างชุดข้อมูลสำหรับ holdout สองชุด Exercise 4: เหตุใดจึงต้องใช้ holdout sets Exercise 5: เมตริกความแม่นยำ: โมเดล regression Exercise 6: Mean absolute error Exercise 7: Mean squared error Exercise 8: ประสิทธิภาพบนชุดข้อมูลย่อย Exercise 9: เมตริกการจำแนกประเภท Exercise 10: Confusion matrices Exercise 11: Confusion Matrix อีกครั้ง Exercise 12: Precision กับ Recall Exercise 13: การแลกเปลี่ยนระหว่าง Bias และ Variance Exercise 14: ข้อผิดพลาดจาก under/over-fitting Exercise 15: โมเดลของเรา Underfit อยู่หรือเปล่า?

การแบ่งข้อมูลแบบ Holdout Set เป็นจุดเริ่มต้นที่ดีสำหรับ Model Validation อย่างไรก็ตาม การใช้เพียงชุด Train และ Test เดียวมักไม่เพียงพอ Cross-Validation ถือเป็นมาตรฐานสูงสุดในการตรวจสอบประสิทธิภาพของโมเดล และเกือบทุกครั้งจะถูกนำมาใช้เมื่อต้องปรับ Hyperparameter ของโมเดล บทนี้จะเน้นการทำ Cross-Validation เพื่อตรวจสอบประสิทธิภาพของโมเดล

Exercise 1: ข้อจำกัดของ Holdout Set Exercise 2: สองกลุ่มตัวอย่าง Exercise 3: ปัญหาที่อาจเกิดขึ้น Exercise 4: Cross-validation Exercise 5: KFold() ของ scikit-learn Exercise 6: การใช้ดัชนีจาก KFold Exercise 7: cross_val_score() ของ sklearn Exercise 8: เมธอดใน scikit-learn Exercise 9: ใช้งาน cross_val_score()Exercise 10: การ Cross Validation แบบ Leave-One-Out (LOOCV)Exercise 11: ควรใช้ LOOCV เมื่อใด

แบบฝึกหัดปัจจุบัน

Exercise 12: Leave-one-out-cross-validation

สามบทแรกเน้นเทคนิคการตรวจสอบความถูกต้องของโมเดล ในบทที่ 4 เราจะนำเทคนิคเหล่านั้น โดยเฉพาะ Cross-Validation มาประยุกต์ใช้ควบคู่กับการเรียนรู้เรื่อง Hyperparameter Tuning เพราะ Model Validation นั่นเองที่ทำให้การปรับแต่งโมเดลเป็นไปได้ และช่วยให้เราเลือกโมเดลที่ดีที่สุดได้ในที่สุด

Exercise 1: แนะนำการปรับ Hyperparameter Exercise 2: การสร้าง Hyperparameter Exercise 3: รันโมเดลโดยใช้ช่วงค่าของพารามิเตอร์Exercise 4: RandomizedSearchCV Exercise 5: เตรียมความพร้อมสำหรับ RandomizedSearch Exercise 6: การใช้งาน RandomizedSearchCV Exercise 7: การเลือกโมเดลสุดท้าย Exercise 8: ความแม่นยำในการจำแนกประเภทที่ดีที่สุด Exercise 9: เลือกโมเดลที่มีค่า Precision ดีที่สุด Exercise 10: เรียนจบคอร์สแล้ว!