Visualiser la variabilité du score du modèle dans le temps
Maintenant que vous avez évalué la variabilité de chaque coefficient, faisons de même pour la performance (les scores) du modèle. Rappelez-vous que l'objet TimeSeriesSplit utilisera, pour chaque ensemble de test, des indices de plus en plus tardifs. Cela signifie que vous pouvez traiter les scores de votre validation comme une série chronologique. Vous pouvez les visualiser dans le temps pour voir comment la performance du modèle évolue.
Une instance du modèle de régression linéaire est stockée dans model, un objet de validation croisée dans cv, et les données dans X et y.
Cette activité fait partie du cours
Machine Learning pour les données chronologiques en Python
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))