Visualizar la variabilidad del score del modelo a lo largo del tiempo
Ahora que has evaluado la variabilidad de cada coeficiente, hagamos lo mismo con el rendimiento (scores) del modelo. Recuerda que el objeto TimeSeriesSplit usará índices progresivamente posteriores para cada conjunto de prueba. Esto significa que puedes tratar los scores de tu validación como una serie temporal. Puedes visualizarlo a lo largo del tiempo para ver cómo cambia el rendimiento del modelo.
Tienes una instancia del modelo de regresión lineal en model, un objeto de validación cruzada en cv, y los datos en X y y.
Este ejercicio forma parte del curso
Machine Learning para datos de series temporales en Python
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
from sklearn.model_selection import cross_val_score
# Generate scores for each split to see how the model performs over time
scores = cross_val_score(model, X, y, cv=cv, scoring=my_pearsonr)
# Convert to a Pandas Series object
scores_series = pd.Series(scores, index=times_scores, name='score')
# Bootstrap a rolling confidence interval for the mean score
scores_lo = scores_series.____(20).aggregate(partial(____, percentiles=2.5))
scores_hi = scores_series.____(20).aggregate(partial(____, percentiles=97.5))