Ahora que has usado árboles como modelos base en XGBoost, vamos a usar el otro tipo de modelo base que se puede emplear con XGBoost: un aprendiz lineal. Aunque este modelo no es tan habitual en XGBoost, te permite crear una regresión lineal regularizada usando la potente API de aprendizaje de XGBoost. Sin embargo, como no es lo más común, tendrás que usar funciones propias de XGBoost que no son compatibles con scikit-learn para construir el modelo, como xgb.train().

Para hacerlo, debes crear el diccionario de parámetros que describe el tipo de booster que quieres usar (de forma similar a como creaste el diccionario en el capítulo 1 cuando usaste xgb.cv()). El par clave-valor que define el tipo de booster (modelo base) que necesitas es "booster":"gblinear".

Una vez creado el modelo, puedes usar los métodos .train() y .predict() del modelo igual que has hecho antes.

Aquí, los datos ya están divididos en conjuntos de entrenamiento y prueba, así que puedes ponerte directamente a crear los objetos DMatrix que requiere la API de aprendizaje de XGBoost.

Funciones objetivo (de pérdida) y aprendices base

Create Your Free Account