Backtesting mit MAE und MSE

In dieser Übung trainierst du, wie du die Modellgüte per Backtesting bewertest. Die Prognosegenauigkeit außerhalb der Stichprobe wird über MSE und MAE beurteilt.

Du kannst die Vorhersagefehler MSE und MAE bequem mit vordefinierten Funktionen aus dem Paket sklearn.metrics schätzen. Die tatsächliche Varianz und die prognostizierte Varianz wurden bereits in actual_var bzw. forecast_var geladen.

Diese Übung ist Teil des Kurses

GARCH-Modelle in Python

Kurs anzeigen

Anleitung zur Übung

Führe in evaluate() die MAE-Berechnung durch, indem du die entsprechende Funktion aus sklean.metrics aufrufst.
Führe in evaluate() die MSE-Berechnung durch, indem du die entsprechende Funktion aus sklean.metrics aufrufst.
Übergib Variablen an evaluate(), um das Backtesting auszuführen.

Interaktive Übung

Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.

def evaluate(observation, forecast): 
    # Call sklearn function to calculate MAE
    mae = ____(observation, forecast)
    print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
    # Call sklearn function to calculate MSE
    mse = ____(observation, forecast)
    print('Mean Squared Error (MSE): {:.3g}'.format(mse))
    return mae, mse

# Backtest model with MAE, MSE
evaluate(____, ____)

Code bearbeiten und ausführen