Calculando um limite e médias móveis
Você vai acompanhar a precisão das previsões ao longo do tempo para detectar model drift. Ao calcular janelas móveis e definir um nível de limite para acionar alertas de drift, você consegue identificar quando o modelo sai do alinhamento com a realidade e precisa ser retreinado.
Você usará as primeiras 14 previsões de fc_log_test para estabelecer o limite e, em seguida, aplicá-lo aos demais logs de previsão. Os logs de previsão fc_log_test e fc_log, que contêm as métricas de desempenho do modelo, já foram pré-carregados, assim como pandas como pd.
Este exercício faz parte do curso
Projetando Pipelines de Previsão para Produção
Instruções do exercício
- Defina o nível de limite a partir de
fc_log_testsomando três desvios padrão à média de RMSE, armazenando emrmse_threshold. - Calcule a média móvel do RMSE usando janelas móveis de 7 e 14 dias para
fc_log.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Set threshold: mean + 3 standard deviations
rmse_threshold = fc_log_test["____"].mean() + 3 * fc_log_test["____"].____()
# Create rolling window averages for RMSE
fc_log["rmse_ma_7"] = fc_log["rmse"].rolling(window=____).____()
fc_log["rmse_ma_14"] = fc_log["rmse"].rolling(window=____).____()
print(f"RMSE threshold: {round(rmse_threshold, 2)}")
print()
print("Forecast log with rolling averages:")
print(fc_log[["forecast_start", "rmse", "rmse_ma_7", "rmse_ma_14"]].head(20))