Een drempel en voortschrijdende gemiddelden berekenen

Je gaat de nauwkeurigheid van voorspellingen in de tijd volgen om modeldrift te detecteren. Door rollende vensters te berekenen en een drempelniveau te definiëren voor driftmeldingen, kun je zien wanneer het model niet meer aansluit op de werkelijkheid en opnieuw moet worden getraind.

Je gebruikt de eerste 14 voorspellingen uit fc_log_test om de drempel vast te stellen en past die vervolgens toe op de overige voorspellogs. De voorspellogs fc_log_test en fc_log met modelprestatiescores zijn al ingeladen, samen met pandas als pd.

Deze oefening maakt deel uit van de cursus

Forecasting-pijplijnen ontwerpen voor productie

Cursus bekijken

Oefeninstructies

Definieer het drempelniveau uit fc_log_test door drie standaarddeviaties op te tellen bij het RMSE-gemiddelde en sla dit op als rmse_threshold.
Bereken het voortschrijdend gemiddelde van de RMSE met rollende vensters van 7 en 14 dagen voor fc_log.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

# Set threshold: mean + 3 standard deviations
rmse_threshold = fc_log_test["____"].mean() + 3 * fc_log_test["____"].____()

# Create rolling window averages for RMSE
fc_log["rmse_ma_7"] = fc_log["rmse"].rolling(window=____).____()
fc_log["rmse_ma_14"] = fc_log["rmse"].rolling(window=____).____()

print(f"RMSE threshold: {round(rmse_threshold, 2)}")
print()
print("Forecast log with rolling averages:")
print(fc_log[["forecast_start", "rmse", "rmse_ma_7", "rmse_ma_14"]].head(20))

Code bewerken en uitvoeren