Backtesting với MAE, MSE

Trong bài tập này, bạn sẽ luyện cách đánh giá hiệu năng mô hình bằng cách thực hiện backtesting. Độ chính xác dự báo out-of-sample được đánh giá bằng cách tính MSE và MAE.

Bạn có thể ước tính nhanh sai số dự báo MSE và MAE bằng các hàm dựng sẵn trong gói sklearn.metrics. Phương sai thực tế và phương sai dự báo đã được nạp sẵn lần lượt trong actual_var và forecast_var.

Bài tập này là một phần của khóa học

Mô hình GARCH với Python

Xem khóa học

Hướng dẫn bài tập

Trong evaluate(), thực hiện phép tính MAE bằng cách gọi hàm tương ứng từ sklean.metrics.
Trong evaluate(), thực hiện phép tính MSE bằng cách gọi hàm tương ứng từ sklean.metrics.
Truyền các biến vào evaluate() để tiến hành backtest.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Chỉnh sửa và Chạy Mã