Backtesting cu MAE și MSE

În acest exercițiu, vei exersa cum să evaluezi performanța unui model prin backtesting. Acuratețea predicțiilor out-of-sample este măsurată prin calculul MSE și MAE.

Poți estima ușor erorile de predicție MSE și MAE folosind funcțiile predefinite din pachetul sklearn.metrics. Varianța reală și varianța prezisă au fost preîncărcate în actual_var, respectiv forecast_var.

Acest exercițiu face parte din cursul

Modele GARCH în Python

Vezi cursul

Instrucțiuni pentru exercițiu

În evaluate(), calculează MAE apelând funcția corespunzătoare din sklean.metrics.
În evaluate(), calculează MSE apelând funcția corespunzătoare din sklean.metrics.
Transmite variabilele funcției evaluate() pentru a realiza backtestingul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Editează și rulează codul