MAE と MSE を使ったバックテスト
この演習では、バックテストを行ってモデルの性能を評価する方法を練習します。サンプル外の予測精度は、MSE と MAE を計算して評価します。
sklearn.metrics パッケージに用意された関数を使うと、予測誤差の MSE と MAE を簡単に算出できます。実現分散と予測分散は、それぞれ actual_var と forecast_var に事前に読み込まれています。
この演習はコースの一部です
Pythonで学ぶGARCHモデル
演習の手順
evaluate()の中で、sklean.metricsの対応する関数を呼び出して MAE を計算します。evaluate()の中で、sklean.metricsの対応する関数を呼び出して MSE を計算します。- バックテストを実行するために、変数を
evaluate()に渡します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
def evaluate(observation, forecast):
# Call sklearn function to calculate MAE
mae = ____(observation, forecast)
print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
# Call sklearn function to calculate MSE
mse = ____(observation, forecast)
print('Mean Squared Error (MSE): {:.3g}'.format(mse))
return mae, mse
# Backtest model with MAE, MSE
evaluate(____, ____)