1. Học hỏi
    2. /
  2. Khoa Học
    3. /
  3. Gradient Boosting Cực Mạnh với XGBoost
Connected

Bài tập

Tinh chỉnh eta

Đến lúc bạn thực hành tinh chỉnh các siêu tham số khác của XGBoost một cách nghiêm túc và quan sát tác động của chúng lên hiệu năng mô hình! Bạn sẽ bắt đầu bằng cách tinh chỉnh "eta", hay còn gọi là learning rate.

Learning rate trong XGBoost là một tham số có thể nằm trong khoảng từ 0 đến 1, với giá trị "eta" càng cao thì càng phạt mạnh trọng số của đặc trưng, dẫn đến regularization mạnh hơn nhiều.

Hướng dẫn

100 XP
  • Tạo một list tên eta_vals để lưu các giá trị "eta" sau: 0.001, 0.01, và 0.1.
  • Lặp qua list eta_vals của bạn bằng vòng lặp for.
  • Ở mỗi vòng lặp for, đặt khóa "eta" của params bằng curr_val. Sau đó, thực hiện cross-validation 3-fold với early stopping (5 vòng), 10 vòng boosting, metric là "rmse", và seed là 123. Đảm bảo đầu ra là một DataFrame.
  • Thêm (append) giá trị RMSE ở vòng cuối vào list best_rmse.