Backtesten met MAE en MSE

In deze oefening ga je modelprestaties evalueren door middel van backtesten. De nauwkeurigheid van de out-of-sample voorspelling beoordeel je door MSE en MAE te berekenen.

Je kunt de voorspellingsfouten MSE en MAE eenvoudig schatten met vooraf gedefinieerde functies in het pakket sklearn.metrics. De werkelijke variantie en de voorspelde variantie zijn respectievelijk vooraf ingeladen in actual_var en forecast_var.

Deze oefening maakt deel uit van de cursus

GARCH-modellen in Python

Cursus bekijken

Oefeninstructies

Voer in evaluate() de MAE-berekening uit door de bijbehorende functie uit sklean.metrics aan te roepen.
Voer in evaluate() de MSE-berekening uit door de bijbehorende functie uit sklean.metrics aan te roepen.
Geef variabelen door aan evaluate() om de backtest uit te voeren.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Code bewerken en uitvoeren