Backtesting avec MAE et MSE

Dans cet exercice, vous allez vous exercer à évaluer la performance d'un modèle en réalisant un backtesting. La précision des prévisions hors échantillon est évaluée en calculant la MSE et la MAE.

Vous pouvez facilement estimer les erreurs de prédiction MSE et MAE grâce aux fonctions prédéfinies du module sklearn.metrics. La variance réelle et la variance prévisible ont été préchargées dans actual_var et forecast_var, respectivement.

Cette activité fait partie du cours

Modèles GARCH en Python

Voir le cours

Instructions de l’exercice

Dans evaluate(), calculez la MAE en appelant la fonction correspondante de sklean.metrics.
Dans evaluate(), calculez la MSE en appelant la fonction correspondante de sklean.metrics.
Transmettez les variables à evaluate() pour effectuer le backtesting.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Modifier et exécuter le code