Wcześniej korzystałeś z drzew decyzyjnych jako modeli bazowych w XGBoost. Teraz czas poznać drugi rodzaj modelu bazowego dostępny w XGBoost – liniowy model uczący. Choć rzadziej stosowany, pozwala zbudować regularyzowaną regresję liniową z wykorzystaniem zaawansowanego API XGBoost. Ze względu na jego specyfikę, do budowy modelu musisz użyć własnych funkcji XGBoost niezgodnych z interfejsem scikit-learn, takich jak xgb.train().

Aby to zrobić, musisz utworzyć słownik parametrów opisujący typ boostera, którego chcesz użyć (podobnie jak tworzyłeś słownik w rozdziale 1 przy użyciu xgb.cv()). Para klucz–wartość definiująca typ boostera (model bazowy) to "booster":"gblinear".

Po utworzeniu modelu możesz korzystać z metod .train() i .predict() tak samo jak dotychczas.

Dane zostały już podzielone na zbiory treningowy i testowy, więc możesz od razu przystąpić do tworzenia obiektów DMatrix wymaganych przez API XGBoost.

Regularyzacja i słabe modele bazowe w XGBoost

Create Your Free Account