1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Tinh chỉnh siêu tham số trong Python
Connected

Bài tập

Điều chỉnh siêu tham số Bayesian với Hyperopt

Trong ví dụ này, bạn sẽ thiết lập và chạy quy trình tối ưu hóa siêu tham số theo hướng Bayesian bằng gói Hyperopt (đã được import sẵn là hp). Bạn sẽ thiết lập không gian miền giá trị (tương tự như thiết lập lưới trong grid search), sau đó thiết lập hàm mục tiêu. Cuối cùng, bạn sẽ chạy bộ tối ưu qua 20 vòng lặp.

Bạn cần thiết lập không gian miền với các giá trị:

  • max_depth sử dụng phân phối quniform (từ 2 đến 10, bước nhảy 2)
  • learning_rate sử dụng phân phối uniform (0.001 đến 0.9)

Lưu ý: cho mục đích của bài tập này, quá trình đã được giảm kích thước mẫu dữ liệu và số vòng lặp của hyperopt & GBM. Nếu bạn tự thử phương pháp này trên máy của mình, hãy thử không gian tìm kiếm lớn hơn, nhiều lần thử hơn, nhiều fold CV hơn và tập dữ liệu lớn hơn để thật sự thấy hiệu quả!

Hướng dẫn

100 XP
  • Thiết lập dictionary space theo miền giá trị nêu trên.
  • Thiết lập hàm mục tiêu dùng một bộ phân loại gradient boosting.
  • Chạy thuật toán với 20 lần đánh giá (chỉ dùng thuật toán mặc định được gợi ý trong các slide).