Backtesting com MAE e MSE

Neste exercício, você vai praticar como avaliar o desempenho do modelo realizando backtesting. A acurácia do forecast fora da amostra é avaliada calculando MSE e MAE.

Você pode estimar facilmente os erros de previsão MSE e MAE usando funções pré-definidas no pacote sklearn.metrics. A variância observada e a variância prevista já foram carregadas em actual_var e forecast_var, respectivamente.

Este exercício faz parte do curso

Modelos GARCH em Python

Ver curso

Instruções do exercício

Em evaluate(), faça o cálculo do MAE chamando a função correspondente de sklean.metrics.
Em evaluate(), faça o cálculo do MSE chamando a função correspondente de sklean.metrics.
Passe as variáveis para evaluate() para realizar o backtest.

Exercício interativo prático

Experimente este exercício completando este código de exemplo.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Editar e executar o código