Pontuação geral de validação
Agora é hora de obter o desempenho real do modelo usando validação cruzada! Como está o desempenho do nosso modelo de previsão de demanda por item na loja?
Sua tarefa é pegar o Mean Squared Error (MSE) de cada dobras separadamente e, em seguida, combinar esses resultados em um único número.
Para simplificar, você recebeu a função get_fold_mse() que, para cada divisão da validação cruzada, ajusta um modelo de Random Forest e retorna uma lista de pontuações de MSE por dobra. get_fold_mse() aceita dois argumentos: train e um objeto TimeSeriesSplit.
Este exercício faz parte do curso
Vencendo uma competição do Kaggle em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from sklearn.model_selection import TimeSeriesSplit
import numpy as np
# Sort train data by date
train = train.sort_values('date')
# Initialize 3-fold time cross-validation
kf = ____(n_splits=____)
# Get MSE scores for each cross-validation split
mse_scores = get_fold_mse(train, kf)
print('Mean validation MSE: {:.5f}'.format(np.____(____)))