Визуализация изменчивости оценки модели во времени
Теперь, когда вы оценили изменчивость каждого коэффициента, сделаем то же самое для показателей качества (оценок) модели. Напомним, что объект TimeSeriesSplit использует последовательно смещающиеся индексы для каждой тестовой выборки. Это означает, что оценки валидации можно рассматривать как временной ряд и визуализировать их, чтобы понять, как качество модели меняется со временем.
Экземпляр модели линейной регрессии хранится в model, объект кросс-валидации — в cv, данные — в X и y.
Это упражнение является частью курса
Машинное обучение для данных временных рядов на Python
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))