Memvisualisasikan variabilitas skor model dari waktu ke waktu
Sekarang setelah Anda menilai variabilitas setiap koefisien, mari lakukan hal yang sama untuk kinerja (skor) model. Ingat bahwa objek TimeSeriesSplit akan menggunakan indeks yang semakin akhir untuk setiap himpunan uji. Ini berarti Anda dapat memperlakukan skor validasi sebagai deret waktu. Anda dapat memvisualisasikannya dari waktu ke waktu untuk melihat bagaimana kinerja model berubah seiring waktu.
Sebuah instance objek model regresi linear disimpan dalam model, objek validasi silang dalam cv, dan data dalam X dan y.
Latihan ini merupakan bagian dari kursus
Machine Learning untuk Data Deret Waktu di Python
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))