Backtesting dengan MAE, MSE

Pada latihan ini, Anda akan berlatih mengevaluasi kinerja model dengan melakukan backtesting. Akurasi peramalan out-of-sample dinilai dengan menghitung MSE dan MAE.

Anda dapat dengan mudah mengestimasi galat prediksi MSE dan MAE menggunakan fungsi yang telah disediakan dalam paket sklearn.metrics. Varians aktual dan varians terprediksi telah dimuat sebelumnya masing-masing di actual_var dan forecast_var.

Latihan ini merupakan bagian dari kursus

Model GARCH di Python

Lihat Kursus

Instruksi latihan

Di dalam evaluate(), lakukan perhitungan MAE dengan memanggil fungsi terkait dari sklean.metrics.
Di dalam evaluate(), lakukan perhitungan MSE dengan memanggil fungsi terkait dari sklean.metrics.
Umpankan variabel ke evaluate() untuk melakukan backtest.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Edit dan Jalankan Kode