Візуалізація змінюваності оцінки моделі з часом
Тепер, коли ви оцінили мінливість кожного коефіцієнта, зробімо те саме для продуктивності (оцінок) моделі. Нагадаємо, що об'єкт TimeSeriesSplit використовує дедалі пізніші індекси для кожної тестової вибірки. Отже, ви можете трактувати оцінки валідації як часовий ряд. Візуалізуйте їх у часі, щоб побачити, як змінюється результативність моделі.
Екземпляр об'єкта моделі лінійної регресії збережено в model, об'єкт крос-валідації — у cv, а дані — в X та y.
Ця вправа є частиною курсу
Machine Learning для часових рядів у Python
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))