Backtesting con MAE, MSE
In questo esercizio metterai in pratica come valutare le prestazioni del modello eseguendo il backtesting. L’accuratezza della previsione out-of-sample viene valutata calcolando MSE e MAE.
Puoi stimare facilmente gli errori di previsione MSE e MAE con funzioni predefinite nel pacchetto sklearn.metrics. La varianza effettiva e la varianza prevista sono già caricate rispettivamente in actual_var e forecast_var.
Questo esercizio fa parte del corso
Modelli GARCH in Python
Istruzioni dell'esercizio
- In
evaluate(), esegui il calcolo del MAE chiamando la funzione corrispondente dasklean.metrics. - In
evaluate(), esegui il calcolo del MSE chiamando la funzione corrispondente dasklean.metrics. - Passa le variabili a
evaluate()per eseguire il backtest.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
def evaluate(observation, forecast):
# Call sklearn function to calculate MAE
mae = ____(observation, forecast)
print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
# Call sklearn function to calculate MSE
mse = ____(observation, forecast)
print('Mean Squared Error (MSE): {:.3g}'.format(mse))
return mae, mse
# Backtest model with MAE, MSE
evaluate(____, ____)