Backtesting med MAE och MSE

I den här övningen får du öva på att utvärdera modellprestanda genom backtesting. Prognosnoggrannheten utanför urvalet bedöms genom att beräkna MSE och MAE.

Du kan enkelt beräkna felprognoserna MSE och MAE med fördefinierade funktioner i paketet sklearn.metrics. Den faktiska variansen och den prognostiserade variansen har förinsatts i actual_var respektive forecast_var.

Den här övningen är en del av kursen

GARCH-modeller i Python

Visa kurs

Övningsinstruktioner

Utför MAE-beräkningen i evaluate() genom att anropa motsvarande funktion från sklean.metrics.
Utför MSE-beräkningen i evaluate() genom att anropa motsvarande funktion från sklean.metrics.
Skicka variablerna till evaluate() för att utföra backtestet.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Redigera och kör kod