Övergripande valideringspoäng
Nu är det dags att mäta modellens faktiska prestanda med korsvalidering! Hur bra presterar vår modell för att förutsäga efterfrågan på butiksprodukter?
Din uppgift är att beräkna Mean Squared Error (MSE) för varje fold separat och sedan kombinera resultaten till ett enda värde.
För enkelhetens skull får du en funktion get_fold_mse() som för varje korsvalideringsdelning tränar en Random Forest-modell och returnerar en lista med MSE-värden per fold. get_fold_mse() tar två argument: train och ett TimeSeriesSplit-objekt.
Den här övningen är en del av kursen
Vinna en Kaggle-tävling i Python
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
from sklearn.model_selection import TimeSeriesSplit
import numpy as np
# Sort train data by date
train = train.sort_values('date')
# Initialize 3-fold time cross-validation
kf = ____(n_splits=____)
# Get MSE scores for each cross-validation split
mse_scores = get_fold_mse(train, kf)
print('Mean validation MSE: {:.5f}'.format(np.____(____)))