Évaluation des prévisions et expérimentation
Dans cet exercice, vous allez évaluer les performances du modèle de prévision pour explorer les cas d’usage de l’expérimentation.
La prévision fusionnée (fc), qui combine les prédictions et les résultats réels du test, est préchargée. Les fonctions d’évaluation (mape, rmse, coverage) et pandas (sous l’alias pd) sont également prêtes à l’emploi. Voici un rappel rapide des fonctions :
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Commencez par calculer les métriques de performance du modèle. Ensuite, répondez à une question sur les objectifs de l’expérimentation en prévision.
Cet exercice fait partie du cours
<cours>Concevoir des pipelines de prévision pour la production</cours>Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)