กำหนด hyperparameter grid ของ decision tree

ในแบบฝึกหัดนี้ คุณจะกำหนด grid ของ hyperparameter ด้วยตนเอง เพื่อใช้ปรับจูน classification tree dt และค้นหา classifier ที่ดีที่สุดในแบบฝึกหัดถัดไป

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Machine Learning with Tree-Based Models in Python

ดูคอร์ส

คำแนะนำการฝึกหัด

กำหนด grid ของ hyperparameter โดยสร้าง Python dictionary ชื่อ params_dt ที่มี:
- key 'max_depth' กำหนดเป็น list ของค่า 2, 3, และ 4
- key 'min_samples_leaf' กำหนดเป็น list ของค่า 0.12, 0.14, 0.16, 0.18

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

# Define params_dt
params_dt = ____

แก้ไขและรันโค้ด

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Machine Learning with Tree-Based Models in Python

SkillTag.level.intermediateSkillTag.label

4.8+

เริ่มคอร์สฟรี

Classification and Regression Trees (CART) คือกลุ่มโมเดล supervised learning ที่ใช้แก้ปัญหาการจำแนกประเภทและการถดถอย ในบทนี้ คุณจะได้รู้จักกับอัลกอริทึม CART

Exercise 1: Decision Tree สำหรับการจำแนกประเภท Exercise 2: ฝึกสร้าง classification tree ต้นแรก Exercise 3: ประเมินผล Classification Tree Exercise 4: Logistic regression เทียบกับ classification tree Exercise 5: การเรียนรู้ของ Classification Tree Exercise 6: การสร้าง Classification Tree Exercise 7: การใช้ entropy เป็น criterion Exercise 8: Entropy กับ Gini index Exercise 9: Decision Tree สำหรับการถดถอย Exercise 10: ฝึก Regression Tree ต้นแรกของคุณ Exercise 11: ประเมินผล Regression Tree Exercise 12: Linear regression vs. regression tree

การแลกเปลี่ยนระหว่าง bias และ variance คือหนึ่งในแนวคิดพื้นฐานที่สำคัญที่สุดใน supervised machine learning ในบทนี้ คุณจะได้เรียนรู้วิธีวินิจฉัยปัญหา overfitting และ underfitting รวมถึงได้รู้จักกับแนวคิด ensembling ซึ่งเป็นการรวมการพยากรณ์จากหลายโมเดลเพื่อให้ได้ผลลัพธ์ที่แม่นยำและเสถียรมากขึ้น

Exercise 1: ความผิดพลาดในการ Generalize Exercise 2: ความซับซ้อน bias และ variance Exercise 3: การ Overfit และ Underfit Exercise 4: วินิจฉัยปัญหา Bias และ Variance Exercise 5: สร้าง instance ของโมเดล Exercise 6: ประเมินค่าความผิดพลาด CV 10-fold Exercise 7: ประเมินค่าความผิดพลาดของชุดฝึกสอน Exercise 8: High bias หรือ High variance?Exercise 9: Ensemble Learning Exercise 10: กำหนด ensemble Exercise 11: ประเมิน classifier แต่ละตัว Exercise 12: ประสิทธิภาพที่ดีขึ้นด้วย Voting Classifier

Bagging คือวิธี ensemble ที่ฝึกอัลกอริทึมเดิมหลายรอบโดยใช้ข้อมูลย่อยที่สุ่มมาจากชุดข้อมูลฝึก ในบทนี้ คุณจะได้เรียนรู้ว่า bagging ช่วยสร้าง tree ensemble ได้อย่างไร และอัลกอริทึม random forests เพิ่มความหลากหลายให้กับ ensemble ได้อย่างไร ผ่านการสุ่มในระดับของแต่ละ split ใน tree

Exercise 1: Bagging Exercise 2: กำหนด Bagging Classifier Exercise 3: ประเมินประสิทธิภาพของ Bagging Exercise 4: การประเมินผลแบบ Out of Bag Exercise 5: เตรียมพื้นฐาน Exercise 6: คะแนน OOB เทียบกับคะแนนชุดทดสอบ Exercise 7: Random Forests (RF)Exercise 8: ฝึกโมเดล RF แบบ Regressor Exercise 9: ประเมิน RF regressor Exercise 10: การแสดงภาพความสำคัญของฟีเจอร์

Boosting คือวิธี ensemble ที่ฝึกโมเดลหลายตัวตามลำดับ โดยแต่ละโมเดลเรียนรู้จากข้อผิดพลาดของโมเดลก่อนหน้า ในบทนี้ คุณจะได้รู้จักกับสองวิธี boosting ได้แก่ AdaBoost และ Gradient Boosting

Exercise 1: AdaBoost Exercise 2: กำหนด AdaBoost Classifier Exercise 3: ฝึก AdaBoost classifier Exercise 4: ประเมินประสิทธิภาพของ AdaBoost classifier Exercise 5: Gradient Boosting (GB)Exercise 6: กำหนด GB regressor Exercise 7: เทรน GB regressor Exercise 8: ประเมินประสิทธิภาพของ GB regressor Exercise 9: Stochastic Gradient Boosting (SGB)Exercise 10: การถดถอยด้วย SGB Exercise 11: เทรน SGB Regressor Exercise 12: ประเมิน SGB Regressor

Hyperparameter ของโมเดล machine learning คือพารามิเตอร์ที่ไม่ได้เรียนรู้จากข้อมูล และต้องกำหนดค่าไว้ก่อนที่จะ fit โมเดลกับชุดข้อมูลฝึก ในบทนี้ คุณจะได้เรียนรู้วิธีปรับ hyperparameter ของโมเดลที่ใช้ tree เป็นพื้นฐาน โดยใช้ grid search cross-validation

Exercise 1: การปรับ Hyperparameter ของ CART Exercise 2: ไฮเปอร์พารามิเตอร์ของ Decision Tree Exercise 3: กำหนด hyperparameter grid ของ decision tree

แบบฝึกหัดปัจจุบัน

Exercise 4: ค้นหาต้นไม้ที่มี hyperparameter เหมาะสมที่สุด Exercise 5: ประเมินผลต้นไม้ที่เหมาะสมที่สุด Exercise 6: การปรับ Hyperparameter ของ RF Exercise 7: ไฮเปอร์พารามิเตอร์ของ Random Forests Exercise 8: กำหนด Hyperparameter Grid ของ RF Exercise 9: ค้นหา forest ที่เหมาะสมที่สุด Exercise 10: ประเมินผล forest ที่ดีที่สุด Exercise 11: ยินดีด้วย!