สุ่มเลือก Hyperparameter
ก่อนจะเริ่มทำ Random Search ขั้นแรกต้องทำการสุ่มตัวอย่างจาก hyperparameter space ก่อน
ในแบบฝึกหัดนี้ จะเริ่มต้นด้วยการสร้างรายการ hyperparameter หลายชุดเพื่อนำมารวมกันเป็นรายการของรายการ จากนั้นสุ่มเลือกชุดค่า hyperparameter เพื่อเตรียมพร้อมสำหรับการรัน Random Search
จะใช้เพียง hyperparameter learning_rate และ min_samples_leaf ของอัลกอริทึม GBM เพื่อให้ตัวอย่างเข้าใจง่ายและไม่ซับซ้อนจนเกินไป
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การปรับ Hyperparameter ใน Python
คำแนะนำการฝึกหัด
- สร้างรายการค่า
learning_rateจำนวน 200 ค่า ในช่วงระหว่าง 0.01 ถึง 1.5 แล้วกำหนดให้กับตัวแปรlearn_rate_list - สร้างรายการค่าระหว่าง 10 ถึง 40 (รวมปลาย) สำหรับ hyperparameter
min_samples_leafแล้วกำหนดให้กับตัวแปรmin_samples_list - นำรายการทั้งสองมารวมกันเป็นรายการของรายการเพื่อใช้สุ่มตัวอย่าง
- สุ่มเลือกโมเดลจำนวน 250 โมเดลจากชุดค่า hyperparameter เหล่านี้ แล้วพิมพ์ผลลัพธ์ออกมา
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create a list of values for the learning_rate hyperparameter
learn_rate_list = list(np.____(____,____,____))
# Create a list of values for the min_samples_leaf hyperparameter
min_samples_list = list(____(____,____))
# Combination list
combinations_list = [list(x) for x in ____(____, min_samples_list)]
# Sample hyperparameter combinations for a random search.
random_combinations_index = np.____(range(0, len(____)), ____, replace=False)
combinations_random_chosen = [combinations_list[x] for x in ____]
# Print the result
print(____)