Бэктестинг с использованием MAE и MSE

В этом упражнении вы научитесь оценивать качество модели с помощью бэктестинга. Точность прогноза на тестовой выборке оценивается путём вычисления MSE и MAE.

Для удобного расчёта ошибок прогнозирования MSE и MAE воспользуйтесь готовыми функциями из пакета sklearn.metrics. Фактическая и предсказанная дисперсия уже загружены в переменные actual_var и forecast_var соответственно.

Это упражнение является частью курса

Модели GARCH на Python

Посмотреть курс

Инструкции к упражнению

В функции evaluate() выполните вычисление MAE, вызвав соответствующую функцию из sklean.metrics.
В функции evaluate() выполните вычисление MSE, вызвав соответствующую функцию из sklean.metrics.
Передайте переменные в функцию evaluate(), чтобы выполнить бэктестинг.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Редактировать и запускать код