การเลือก Hyperparameter แบบอัตโนมัติ
การค้นหา hyperparameter ที่ดีที่สุดโดยไม่ต้องเขียนโค้ดหลายร้อยบรรทัดสำหรับโมเดลหลายร้อยตัว ถือเป็นการเพิ่มประสิทธิภาพที่สำคัญและจะเป็นประโยชน์อย่างมากในการสร้างโมเดล machine learning ในอนาคต
หนึ่งใน hyperparameter ที่สำคัญของอัลกอริทึม GBM คือ learning rate แต่จะรู้ได้อย่างไรว่า learning rate ใดเหมาะสมที่สุดสำหรับปัญหานี้? การเขียนลูปเพื่อค้นหาค่าที่เป็นไปได้หลายค่า แล้วรวบรวมและแสดงผลลัพธ์ จะช่วยให้หาค่าที่ดีที่สุดได้
ค่า learning rate ที่จะลองได้แก่ 0.001, 0.01, 0.05, 0.1, 0.2 และ 0.5
ชุดข้อมูล X_train, X_test, y_train และ y_test พร้อมใช้งานแล้ว และมีการ import GradientBoostingClassifier ให้เรียบร้อยแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การปรับ Hyperparameter ใน Python
คำแนะนำการฝึกหัด
- สร้างลิสต์
learning_ratesสำหรับเก็บค่า learning rate และลิสต์results_listสำหรับเก็บคะแนนความแม่นยำของการพยากรณ์ - เขียนลูปเพื่อสร้างโมเดล GBM สำหรับแต่ละ learning rate ที่กำหนด และสร้างการพยากรณ์สำหรับแต่ละโมเดล
- บันทึก learning rate และคะแนนความแม่นยำลงใน
results_list - แปลง results list ให้เป็น DataFrame แล้วแสดงผลออกมา
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Set the learning rates & results storage
learning_rates = ____
results_list = ____
# Create the for loop to evaluate model predictions for each learning rate
for learning_rate in ____:
model = ____(learning_rate=____)
predictions = ____.fit(____, ____).predict(____)
# Save the learning rate and accuracy score
results_list.append([____, accuracy_score(y_test, ____)])
# Gather everything into a DataFrame
results_df = pd.DataFrame(____, columns=['learning_rate', 'accuracy'])
print(results_df)