Бек-тестування з MAE та MSE

У цій вправі ви потренуєтеся оцінювати якість моделі за допомогою бек-тестування. Точність прогнозу поза вибіркою оцінюється через обчислення MSE та MAE.

Похибки прогнозу MSE і MAE можна легко оцінити за допомогою готових функцій із пакета sklearn.metrics. Фактична дисперсія та прогнозована дисперсія вже завантажені у змінні actual_var і forecast_var відповідно.

Ця вправа є частиною курсу

Моделі GARCH у Python

Переглянути курс

Інструкції до вправи

У evaluate() виконайте обчислення MAE, викликавши відповідну функцію з sklean.metrics.
У evaluate() виконайте обчислення MSE, викликавши відповідну функцію з sklean.metrics.
Передайте змінні до evaluate(), щоб виконати бек-тест.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Редагувати та запускати код