การ Regularization และ Base Learner ใน XGBoost

Create Your Free Account

or

By continuing, you accept our Terms of Use, our Privacy Policy and that your data is stored in the USA.

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Extreme Gradient Boosting with XGBoost

SkillTag.level.intermediateSkillTag.label

4.9+

เริ่มคอร์สฟรี

บทนี้จะแนะนำแนวคิดพื้นฐานของ XGBoost ซึ่งก็คือ boosted learners เมื่อเข้าใจหลักการทำงานของ XGBoost แล้ว จะนำไปประยุกต์ใช้กับปัญหา classification ที่พบได้ทั่วไปในอุตสาหกรรม ได้แก่ การทำนายว่าลูกค้าจะเลิกใช้บริการในอนาคตหรือไม่

Exercise 1: ยินดีต้อนรับสู่คอร์ส!Exercise 2: ข้อใดต่อไปนี้คือปัญหาการจำแนกประเภท?Exercise 3: ข้อใดต่อไปนี้เป็นปัญหาการจำแนกประเภทแบบ binary?Exercise 4: แนะนำ XGBoost Exercise 5: XGBoost: Fit/Predict Exercise 6: Decision tree คืออะไร?Exercise 7: Decision trees Exercise 8: Boosting คืออะไร?Exercise 9: การวัดความแม่นยำ Exercise 10: การวัดค่า AUC Exercise 11: ควรใช้ XGBoost เมื่อใด?Exercise 12: การใช้งาน XGBoost

หลังจากทบทวน supervised regression โดยย่อ จะนำ XGBoost มาใช้กับงาน regression สำหรับการทำนายราคาบ้านในเมือง Ames รัฐไอโอวา นอกจากนี้ยังจะได้เรียนรู้เกี่ยวกับ base learner 2 ประเภทที่ XGBoost ใช้เป็น weak learner รวมถึงวิธีประเมินคุณภาพของโมเดล regression

Exercise 1: ทบทวน Regression Exercise 2: ข้อใดเป็นโจทย์ regression?Exercise 3: ฟังก์ชันวัตถุประสงค์ (loss) และ base learners Exercise 4: Decision trees ในฐานะ base learners Exercise 5: Linear base learners Exercise 6: การประเมินคุณภาพโมเดล Exercise 7: การ Regularization และ Base Learner ใน XGBoost

แบบฝึกหัดปัจจุบัน

Exercise 8: การใช้ Regularization ใน XGBoost Exercise 9: การแสดงผลต้นไม้ XGBoost แต่ละต้น Exercise 10: การแสดงภาพความสำคัญของ feature: feature ใดสำคัญที่สุดในชุดข้อมูลของเรา

บทนี้จะสอนวิธีปรับแต่งโมเดล XGBoost ให้มีประสิทธิภาพสูงสุด จะได้เรียนรู้เกี่ยวกับพารามิเตอร์หลากหลายตัวที่ปรับเปลี่ยนได้เพื่อควบคุมพฤติกรรมของ XGBoost และวิธี tuning ที่มีประสิทธิภาพ เพื่อยกระดับประสิทธิภาพของโมเดลให้ถึงขีดสุด

Exercise 1: ทำไมต้องปรับจูนโมเดล?Exercise 2: เมื่อไหร่ที่การปรับจูนโมเดลไม่ใช่ความคิดที่ดี?Exercise 3: การปรับจำนวน Boosting Rounds Exercise 4: การเลือกจำนวน Boosting Round อัตโนมัติด้วย early_stopping Exercise 5: ภาพรวม Hyperparameter ของ XGBoost Exercise 6: การปรับค่า eta Exercise 7: การปรับแต่ง max_depth Exercise 8: การปรับค่า colsample_bytree Exercise 9: ทบทวน Grid Search และ Random Search Exercise 10: Grid search กับ XGBoost Exercise 11: Random search ด้วย XGBoost Exercise 12: ข้อจำกัดของ grid search และ random search Exercise 13: ควรใช้ Grid Search และ Random Search เมื่อใด?

ต่อยอดทักษะ XGBoost โดยนำโมเดลไปรวมไว้ใน machine learning pipeline แบบครบวงจรถึง 2 แบบ จะได้เรียนรู้วิธี tuning hyperparameter ที่สำคัญของ XGBoost อย่างมีประสิทธิภาพภายใน pipeline พร้อมทำความรู้จักเทคนิค preprocessing ขั้นสูงเพิ่มเติม

Exercise 1: ทบทวน Pipeline ด้วย sklearn Exercise 2: การวิเคราะห์ข้อมูลเบื้องต้น Exercise 3: การเข้ารหัสคอลัมน์ประเภท Categorical I: LabelEncoder Exercise 4: การเข้ารหัสคอลัมน์ประเภท Categorical II: OneHotEncoder Exercise 5: การเข้ารหัสคอลัมน์ categorical ขั้นที่ 3: DictVectorizer Exercise 6: การประมวลผลข้อมูลภายใน Pipeline Exercise 7: การนำ XGBoost เข้าสู่ไปป์ไลน์Exercise 8: Cross-validate โมเดล XGBoost Exercise 9: กรณีศึกษาโรคไต I: Categorical Imputer Exercise 10: กรณีศึกษาโรคไต II: Feature Union Exercise 11: กรณีศึกษาโรคไต III: Pipeline แบบครบวงจร Exercise 12: การปรับจูน Hyperparameter ของ XGBoost Exercise 13: รวมทุกอย่างเข้าด้วยกัน Exercise 14: ความคิดสุดท้าย