視覺化模型分數隨時間的變動
現在你已經評估了每個係數的變異程度,接下來也用同樣的方法來檢視模型效能(分數)。回想一下,TimeSeriesSplit 物件會為每個測試集使用時間上更晚的索引。這表示你可以把驗證的「分數」視為一個時間序列。你可以把它隨時間視覺化,看看模型效能如何隨時間改變。
一個 Linear regression 模型的實例已存於 model,交叉驗證物件在 cv,資料在 X 與 y。
本練習屬於課程
Python 的時間序列資料機器學習
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))