隨機抽樣超參數
要執行隨機搜尋,第一步是對超參數空間進行隨機抽樣。
在這個練習中,你會先建立一些超參數的清單,並將它們壓成一個「清單中的清單」。接著,你會隨機抽樣超參數的組合,為隨機搜尋做準備。
為了保持範例清楚且不複雜,你將只使用 GBM 演算法的 learning_rate 與 min_samples_leaf 這兩個超參數。
本練習屬於課程
Python 超參數調校
練習說明
- 建立一個含有 200 個
learning_rate超參數值的清單,範圍介於 0.01 到 1.5,指派給清單learn_rate_list。 - 建立一個
min_samples_leaf超參數的清單,數值介於 10 到 40(含 10 與 40),指派給清單min_samples_list。 - 將這些清單合併為一個可供抽樣的「清單中的清單」。
- 從這些超參數組合中隨機抽樣 250 個模型,並印出結果。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Create a list of values for the learning_rate hyperparameter
learn_rate_list = list(np.____(____,____,____))
# Create a list of values for the min_samples_leaf hyperparameter
min_samples_list = list(____(____,____))
# Combination list
combinations_list = [list(x) for x in ____(____, min_samples_list)]
# Sample hyperparameter combinations for a random search.
random_combinations_index = np.____(range(0, len(____)), ____, replace=False)
combinations_random_chosen = [combinations_list[x] for x in ____]
# Print the result
print(____)