Avaliando o desempenho do forecast

Neste exercício, você vai avaliar e visualizar o desempenho do modelo de forecast que construiu no exercício anterior.

Os resultados ml_forecast, o conjunto de dados test e plot_series já estão carregados, assim como as funções de avaliação (mape, rmse, coverage, mostradas abaixo) e pandas como pd.

def mape(y, yhat):
    mape = mean(abs(y - yhat)/ y) 
    return mape

def rmse(y, yhat):
    rmse = (mean((y - yhat) ** 2 )) ** 0.5
    return rmse

def coverage(y, lower, upper):
    coverage = sum((y <= upper) & (y >= lower)) / len(y)
    return coverage

Vamos primeiro avaliar o desempenho do modelo e depois visualizar o forecast.

Este exercício faz parte do curso

Projetando Pipelines de Previsão para Produção

Ver curso

Instruções do exercício

Crie fc mesclando os conjuntos de dados ml_forecast e test.
Calcule o rmse usando a função personalizada rmse() fornecida, passando fc["y"] e fc[model] para os dois argumentos, nessa ordem; armazenando em uma variável chamada r dentro do loop for.
Conclua a avaliação ordenando fc_performance por rmse em ordem crescente.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

# Combine the data
fc = ml_forecast.____(____, how="left", on="ds")
fc_performance = None

for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
    m = mape(y=fc["y"], yhat=fc[model])
    
    # Calculate RMSE
    r = ____(y=fc["____"], yhat=fc[____])
    c = coverage(y=fc["y"], lower=fc[model + "-lo-95"], upper=fc[model + "-hi-95"])

    perf = {"model": model, "mape": m, "rmse": r, "coverage": c}
    if fc_performance is None:
        fc_performance = pd.DataFrame([perf])
    else:
        fc_performance = pd.concat([fc_performance, pd.DataFrame([perf])])

# Sort the performance metrics by rmse
print(fc_performance.____("____"))

Editar e executar o código