De variabiliteit van modelscore in de tijd visualiseren
Nu je de variabiliteit van elke coëfficiënt hebt beoordeeld, doen we hetzelfde voor de prestaties (scores) van het model. Onthoud dat het object TimeSeriesSplit opeenvolgend latere indexen gebruikt voor elke testset. Dat betekent dat je de scores van je validatie als een tijdreeks kunt behandelen. Je kunt dit in de tijd visualiseren om te zien hoe de prestatie van het model verandert.
Een instantie van het Linear regression-modelobject staat in model, een cross-validatieobject in cv, en de data in X en y.
Deze oefening maakt deel uit van de cursus
Machine Learning voor tijdreeksgegevens in Python
Interactieve oefening met praktijkervaring
Probeer deze oefening door deze voorbeeldcode aan te vullen.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))