Visualizando a variabilidade da pontuação do modelo ao longo do tempo
Agora que você avaliou a variabilidade de cada coeficiente, vamos fazer o mesmo para o desempenho (pontuações) do modelo. Lembre que o objeto TimeSeriesSplit usará índices sucessivamente mais recentes para cada conjunto de teste. Isso significa que você pode tratar as pontuações da sua validação como uma série temporal. Você pode visualizar isso ao longo do tempo para ver como o desempenho do modelo muda com o tempo.
Uma instância do objeto de modelo de regressão linear está armazenada em model, um objeto de validação cruzada em cv, e os dados em X e y.
Este exercício faz parte do curso
Machine Learning para dados de séries temporais em Python
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))