Backtesting ด้วย MAE และ MSE

ในแบบฝึกหัดนี้ จะได้ฝึกประเมินประสิทธิภาพของโมเดลโดยใช้วิธี backtesting โดยวัดความแม่นยำของการพยากรณ์นอกตัวอย่าง (out-of-sample) ผ่านการคำนวณ MSE และ MAE

สามารถประมาณค่าความคลาดเคลื่อนของการพยากรณ์ด้วย MSE และ MAE ได้อย่างง่ายดาย โดยใช้ฟังก์ชันสำเร็จรูปในแพ็กเกจ sklearn.metrics ทั้งนี้ ค่าความแปรปรวนจริงและค่าความแปรปรวนที่พยากรณ์ได้ถูกโหลดไว้ล่วงหน้าในตัวแปร actual_var และ forecast_var ตามลำดับ

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

GARCH Models ใน Python

ดูคอร์ส

คำแนะนำการฝึกหัด

ภายในฟังก์ชัน evaluate() ให้คำนวณ MAE โดยเรียกใช้ฟังก์ชันที่เกี่ยวข้องจาก sklean.metrics
ภายในฟังก์ชัน evaluate() ให้คำนวณ MSE โดยเรียกใช้ฟังก์ชันที่เกี่ยวข้องจาก sklean.metrics
ส่งตัวแปรไปยัง evaluate() เพื่อทำการ backtest

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

แก้ไขและรันโค้ด