Visualiser la variabilité du score du modèle dans le temps
Maintenant que vous avez évalué la variabilité de chaque coefficient, faisons de même pour les performances (scores) du modèle. Rappelez-vous que l’objet TimeSeriesSplit utilise des indices de plus en plus tardifs pour chaque jeu de test. Cela signifie que vous pouvez traiter les scores de votre validation comme une série temporelle. Vous pouvez les visualiser au fil du temps afin d’observer comment la performance du modèle évolue.
Une instance du modèle de régression linéaire est stockée dans model, un objet de validation croisée dans cv, et les données dans X et y.
Cet exercice fait partie du cours
Machine Learning for Time Series Data in Python
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))