Visualizzare la variabilità dello score del modello nel tempo
Ora che hai valutato la variabilità di ciascun coefficiente, facciamo lo stesso per le prestazioni (gli score) del modello. Ricorda che l'oggetto TimeSeriesSplit userà indici via via più tardivi per ogni set di test. Questo significa che puoi considerare gli score della tua validazione come una serie temporale. Puoi visualizzarli nel tempo per vedere come cambiano le prestazioni del modello.
Un'istanza del modello di regressione lineare è salvata in model, un oggetto di cross-validation in cv, e i dati in X e y.
Questo esercizio fa parte del corso
Machine Learning per dati di serie temporali in Python
esercizio interattivo pratico
Prova questo esercizio completando questo codice di esempio.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))