Backtesting mit MAE und MSE

In dieser Übung trainierst du, wie du die Modellgüte per Backtesting bewertest. Die Prognosegenauigkeit außerhalb der Stichprobe wird über MSE und MAE beurteilt.

Du kannst die Vorhersagefehler MSE und MAE bequem mit vordefinierten Funktionen aus dem Paket sklearn.metrics schätzen. Die tatsächliche Varianz und die prognostizierte Varianz wurden bereits in actual_var bzw. forecast_var geladen.

Diese Übung ist Teil des Kurses

<Kurs>GARCH-Modelle in Python</Kurs>

Kurs ansehen

Übungsanweisungen

Führe in evaluate() die MAE-Berechnung durch, indem du die entsprechende Funktion aus sklean.metrics aufrufst.
Führe in evaluate() die MSE-Berechnung durch, indem du die entsprechende Funktion aus sklean.metrics aufrufst.
Übergib Variablen an evaluate(), um das Backtesting auszuführen.

Interaktive praktische Übung

Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Code bearbeiten und ausführen