Entraîner des modèles XGBoost

Toute méthode de Machine Learning peut potentiellement surapprendre. Vous allez le constater ici avec XGBoost. Vous travaillez de nouveau sur le défi Store Item Demand Forecasting. Le DataFrame train est disponible dans votre espace de travail.

Commençons par entraîner plusieurs modèles XGBoost avec différents ensembles d'hyperparamètres en utilisant l'API d'apprentissage de XGBoost. L'unique hyperparamètre que vous allez modifier est :

max_depth — profondeur maximale d'un arbre. Plus cette valeur est élevée, plus le modèle est complexe et plus il risque de surapprendre.

Cette activité fait partie du cours

Remporter une compétition Kaggle en Python

Voir le cours

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

import xgboost as xgb

# Create DMatrix on train data
dtrain = xgb.DMatrix(data=train[['store', 'item']],
                     label=train['sales'])

# Define xgboost parameters
params = {'objective': 'reg:squarederror',
          '____': ____,
          'verbosity': 0}

# Train xgboost model
xg_depth_2 = xgb.train(params=params, dtrain=dtrain)

Modifier et exécuter le code