Backtesting s MAE a MSE

V tomto cvičení si procvičíš, jak vyhodnocovat výkon modelu pomocí backtestingu. Přesnost předpovědí mimo trénovací data se měří výpočtem MSE a MAE.

Chybové metriky MSE a MAE snadno odhadneš pomocí předpřipravených funkcí z balíčku sklearn.metrics. Skutečná a předpovězená variance jsou předem načteny v proměnných actual_var a forecast_var.

Toto cvičení je součástí kurzu

GARCH modely v Pythonu

Zobrazit kurz

Pokyny k cvičení

Ve funkci evaluate() proveď výpočet MAE zavoláním příslušné funkce z sklean.metrics.
Ve funkci evaluate() proveď výpočet MSE zavoláním příslušné funkce z sklean.metrics.
Předej proměnné do funkce evaluate(), aby se backtesting mohl spustit.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Upravit a spustit kód