Totale validatiescore
Tijd om de echte modelprestatie te meten met cross-validatie! Hoe doet ons model voor vraagvoorspelling per winkelartikel het?
Je taak is om de Mean Squared Error (MSE) voor elke fold apart te nemen, en deze resultaten daarna te combineren tot één getal.
Voor het gemak krijg je de functie get_fold_mse() die voor elke cross-validatiesplit een Random Forest-model traint en een lijst met MSE-scores per fold teruggeeft. get_fold_mse() accepteert twee argumenten: train en een TimeSeriesSplit-object.
Deze oefening maakt deel uit van de cursus
Een Kaggle-competitie winnen met Python
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
from sklearn.model_selection import TimeSeriesSplit
import numpy as np
# Sort train data by date
train = train.sort_values('date')
# Initialize 3-fold time cross-validation
kf = ____(n_splits=____)
# Get MSE scores for each cross-validation split
mse_scores = get_fold_mse(train, kf)
print('Mean validation MSE: {:.5f}'.format(np.____(____)))