ตรวจสอบคะแนน Out-of-Bag
มาตรวจสอบคะแนน out-of-bag ของโมเดลจากแบบฝึกหัดก่อนหน้ากัน
ที่ผ่านมาใช้ F1 score ในการวัดประสิทธิภาพ แต่ในแบบฝึกหัดนี้ให้ใช้ accuracy score เพื่อให้เปรียบเทียบกับคะแนน out-of-bag ได้ง่ายขึ้น
โมเดล decision tree classifier จากแบบฝึกหัดก่อนหน้า clf_dt พร้อมใช้งานใน workspace แล้ว
ชุดข้อมูล pokemon ถูกโหลดและแบ่งเป็นชุดฝึกและชุดทดสอบไว้ให้เรียบร้อยแล้ว นอกจากนี้ decision tree classifier ถูก fit แล้วและพร้อมใช้งานในชื่อ clf_dt เพื่อใช้เป็น base estimator
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Ensemble Methods ใน Python
คำแนะนำการฝึกหัด
- สร้าง bagging classifier โดยใช้ decision tree เป็น base estimator และกำหนด 21 estimators คราวนี้ให้ใช้คะแนน out-of-bag โดยระบุอาร์กิวเมนต์สำหรับพารามิเตอร์
oob_score - แสดงคะแนน out-of-bag ของ classifier
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Build and train the bagging classifier
clf_bag = ____(
____,
____,
____,
random_state=500)
clf_bag.fit(X_train, y_train)
# Print the out-of-bag score
print('OOB-Score: {:.3f}'.format(____))
# Evaluate the performance on the test set to compare
pred = clf_bag.predict(X_test)
print('Accuracy: {:.3f}'.format(accuracy_score(y_test, pred)))