Backtesting dengan MAE, MSE

Pada latihan ini, Anda akan berlatih mengevaluasi kinerja model dengan melakukan backtesting. Akurasi peramalan out-of-sample dinilai dengan menghitung MSE dan MAE.

Anda dapat dengan mudah mengestimasi galat prediksi MSE dan MAE menggunakan fungsi yang telah disediakan dalam paket sklearn.metrics. Varians aktual dan varians terprediksi telah dimuat sebelumnya masing-masing di actual_var dan forecast_var.

Latihan ini adalah bagian dari kursus

Model GARCH di Python

Lihat Kursus

Petunjuk latihan

Di dalam evaluate(), lakukan perhitungan MAE dengan memanggil fungsi terkait dari sklean.metrics.
Di dalam evaluate(), lakukan perhitungan MSE dengan memanggil fungsi terkait dari sklean.metrics.
Umpankan variabel ke evaluate() untuk melakukan backtest.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Edit dan Jalankan Kode