Sau khi đã dùng cây quyết định làm mô hình cơ sở trong XGBoost, giờ hãy thử loại mô hình cơ sở còn lại mà XGBoost hỗ trợ – bộ học tuyến tính. Mô hình này, dù không phổ biến bằng trong XGBoost, cho phép bạn xây dựng hồi quy tuyến tính có regularization thông qua API học mạnh mẽ của XGBoost. Tuy nhiên, vì ít được dùng, bạn cần sử dụng các hàm riêng của XGBoost không tương thích scikit-learn để xây dựng mô hình, như xgb.train().

Để làm được điều này, bạn phải tạo từ điển tham số mô tả loại booster (mô hình cơ sở) bạn muốn dùng (tương tự như bạn đã tạo từ điển ở Chương 1 khi dùng xgb.cv()). Cặp khóa-giá trị xác định kiểu booster (mô hình cơ sở) bạn cần là "booster":"gblinear".

Sau khi tạo mô hình, bạn có thể dùng các phương thức .train() và .predict() của mô hình giống như trước đây.

Ở đây, dữ liệu đã được chia sẵn thành tập huấn luyện và tập kiểm tra, vì vậy bạn có thể bắt tay ngay vào tạo các đối tượng DMatrix theo yêu cầu của API học XGBoost.

Regularization và bộ học cơ sở trong XGBoost

Create Your Free Account