Backtesting avec MAE et MSE

Dans cet exercice, vous allez vous entraîner à évaluer la performance d’un modèle en réalisant un backtesting. La précision des prévisions hors échantillon est évaluée en calculant la MSE et la MAE.

Vous pouvez estimer facilement les erreurs de prédiction MSE et MAE avec des fonctions prédéfinies du package sklearn.metrics. La variance observée et la variance prédite ont été préchargées dans actual_var et forecast_var, respectivement.

Cet exercice fait partie du cours

Modèles GARCH en Python

Afficher le cours

Instructions

Dans evaluate(), calculez la MAE en appelant la fonction correspondante depuis sklean.metrics.
Dans evaluate(), calculez la MSE en appelant la fonction correspondante depuis sklean.metrics.
Passez les variables à evaluate() afin d’effectuer le backtest.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Modifier et exécuter le code