Agora que você usou árvores como modelos base no XGBoost, vamos usar o outro tipo de modelo base que pode ser usado com XGBoost: um aprendiz linear. Esse modelo, embora não seja tão comum no XGBoost, permite criar uma regressão linear regularizada usando a poderosa API de aprendizado do XGBoost. Porém, por ser incomum, você precisa usar as funções próprias do XGBoost, que não são compatíveis com scikit-learn, para construir o modelo, como xgb.train().

Para isso, você deve criar o dicionário de parâmetros que descreve o tipo de booster que você quer usar (de forma semelhante a como você criou o dicionário no Capítulo 1 quando usou xgb.cv()). O par chave-valor que define o tipo de booster (modelo base) necessário é "booster":"gblinear".

Depois de criar o modelo, você pode usar os métodos .train() e .predict() do modelo como já fez antes.

Aqui, os dados já foram divididos em conjuntos de treino e teste, então você pode partir direto para criar os objetos DMatrix exigidos pela API de aprendizado do XGBoost.

Funções objetivo (de perda) e base learners

Create Your Free Account