Evaluación del pronóstico y experimentación
En este ejercicio, vas a evaluar el rendimiento del modelo de pronóstico para explorar los casos de uso de la experimentación.
El pronóstico combinado (fc), que une las predicciones con los resultados reales del conjunto de prueba, ya está precargado. Las funciones de evaluación (mape, rmse, coverage) y pandas (como pd) también están listas para usar. Aquí tienes un recordatorio rápido de las funciones:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Primero, calcula las métricas de rendimiento del modelo. Después, responde a una pregunta sobre los objetivos de la experimentación en forecasting.
Este ejercicio forma parte del curso
Diseño de canalizaciones de predicción para producción
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)