Backtesting z MAE i MSE

W tym ćwiczeniu przećwiczysz ocenę wydajności modelu poprzez przeprowadzenie backtestingu. Dokładność prognoz poza próbą (out-of-sample) jest mierzona za pomocą MSE i MAE.

Błędy predykcji MSE i MAE możesz łatwo wyliczyć przy użyciu gotowych funkcji z pakietu sklearn.metrics. Rzeczywista wariancja i prognozowana wariancja zostały wstępnie załadowane odpowiednio do zmiennych actual_var i forecast_var.

To ćwiczenie jest częścią kursu

Modele GARCH w Pythonie

Zobacz kurs

Instrukcje do ćwiczenia

W funkcji evaluate() oblicz MAE, wywołując odpowiednią funkcję z sklean.metrics.
W funkcji evaluate() oblicz MSE, wywołując odpowiednią funkcję z sklean.metrics.
Przekaż zmienne do evaluate(), aby przeprowadzić backtest.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Edytuj i uruchom kod