MAE, MSE로 백테스팅

이번 연습 문제에서는 백테스팅을 통해 모델 성능을 평가하는 방법을 연습합니다. 샘플 외(out-of-sample) 예측 정확도는 MSE와 MAE를 계산해 평가합니다.

sklearn.metrics 패키지의 사전 정의된 함수를 사용하면 예측 오차인 MSE와 MAE를 쉽게 추정할 수 있어요. 실제 분산과 예측 분산은 각각 actual_var와 forecast_var에 미리 로드되어 있습니다.

이 연습은 강의의 일부입니다

Python으로 배우는 GARCH 모델

강의 보기

연습 안내

evaluate()에서 sklean.metrics의 해당 함수를 호출해 MAE를 계산하세요.
evaluate()에서 sklean.metrics의 해당 함수를 호출해 MSE를 계산하세요.
백테스트를 수행하려면 변수를 evaluate()에 전달하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

코드 편집 및 실행