Avaliação de previsões e experimentação
Neste exercício, você vai avaliar o desempenho do modelo de previsão para explorar os casos de uso de experimentação.
O forecast mesclado (fc), que combina previsões com os resultados reais de teste, já está pré-carregado. As funções de avaliação (mape, rmse, coverage) e pandas (como pd) também estão prontas para uso. Aqui vai um resumo rápido das funções:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Primeiro, calcule as métricas de desempenho do modelo. Depois, responda a uma pergunta sobre os objetivos da experimentação em previsão.
Este exercicio faz parte do curso
Projetando Pipelines de Previsão para Produção
exercicio interativo prático
Tente este exercicio completando este código de exemplo.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)