Prognosebewertung & Experimentieren
In dieser Übung bewertest du die Leistung des Prognosemodells, um die Einsatzszenarien von Experimenten zu erkunden.
Die zusammengeführte Prognose (fc), die Vorhersagen mit den tatsächlichen Testergebnissen kombiniert, ist vorab geladen. Auswertungsfunktionen (mape, rmse, coverage) und pandas (als pd) stehen ebenfalls bereit. Hier ist eine kurze Referenz der Funktionen:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Berechne zuerst die Leistungsmetriken für das Modell. Beantworte anschließend eine Frage zu den Zielen von Experimenten in der Zeitreihenprognose.
Diese Übung ist Teil des Kurses
Forecasting-Pipelines für die Produktion entwerfen
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)