Evaluar el rendimiento del pronóstico

En este ejercicio, vas a evaluar y visualizar el rendimiento del modelo de pronóstico que creaste en el ejercicio anterior.

Los resultados ml_forecast, el conjunto de datos test y plot_series están precargados, junto con las funciones de evaluación (mape, rmse, coverage, que se muestran abajo) y pandas como pd.

def mape(y, yhat):
    mape = mean(abs(y - yhat)/ y) 
    return mape

def rmse(y, yhat):
    rmse = (mean((y - yhat) ** 2 )) ** 0.5
    return rmse

def coverage(y, lower, upper):
    coverage = sum((y <= upper) & (y >= lower)) / len(y)
    return coverage

Primero evaluemos el rendimiento del modelo y luego visualicemos el pronóstico.

Este ejercicio forma parte del curso

Diseño de canalizaciones de predicción para producción

Ver curso

Instrucciones del ejercicio

Crea fc uniendo los conjuntos de datos ml_forecast y test.
Calcula rmse usando la función personalizada rmse() proporcionada, pasando fc["y"] y fc[model] como argumentos en ese orden; guarda el resultado en una variable llamada r dentro del bucle for.
Completa la evaluación ordenando fc_performance por rmse en orden ascendente.

Ejercicio interactivo práctico

Prueba este ejercicio y completa el código de muestra.

# Combine the data
fc = ml_forecast.____(____, how="left", on="ds")
fc_performance = None

for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
    m = mape(y=fc["y"], yhat=fc[model])
    
    # Calculate RMSE
    r = ____(y=fc["____"], yhat=fc[____])
    c = coverage(y=fc["y"], lower=fc[model + "-lo-95"], upper=fc[model + "-hi-95"])

    perf = {"model": model, "mape": m, "rmse": r, "coverage": c}
    if fc_performance is None:
        fc_performance = pd.DataFrame([perf])
    else:
        fc_performance = pd.concat([fc_performance, pd.DataFrame([perf])])

# Sort the performance metrics by rmse
print(fc_performance.____("____"))

Editar y ejecutar código