Score global de validation
Il est maintenant temps d'évaluer réellement le rendement du modèle avec une validation croisée ! Comment se comporte notre modèle de prédiction de la demande par article en magasin ?
Votre tâche consiste à récupérer la Mean Squared Error (MSE) pour chaque pli séparément, puis à combiner ces résultats en un seul nombre.
Pour simplifier, on vous fournit la fonction get_fold_mse() qui, pour chaque découpage de validation croisée, entraîne un modèle Random Forest et retourne une liste de scores MSE par pli. get_fold_mse() accepte deux arguments : train et un objet TimeSeriesSplit.
Cette activité fait partie du cours
Remporter une compétition Kaggle en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from sklearn.model_selection import TimeSeriesSplit
import numpy as np
# Sort train data by date
train = train.sort_values('date')
# Initialize 3-fold time cross-validation
kf = ____(n_splits=____)
# Get MSE scores for each cross-validation split
mse_scores = get_fold_mse(train, kf)
print('Mean validation MSE: {:.5f}'.format(np.____(____)))