MAE, MSE ile Backtesting
Bu egzersizde, backtesting yaparak model performansını nasıl değerlendireceğini pratik edeceksin. Örneklem dışı tahmin doğruluğu, MSE ve MAE hesaplanarak değerlendirilecektir.
sklearn.metrics paketindeki ön tanımlı fonksiyonlarla MSE ve MAE tahmin hatalarını kolayca hesaplayabilirsin. Gerçek varyans ve tahmin edilen varyans sırasıyla actual_var ve forecast_var içine önceden yüklenmiştir.
Bu egzersiz, kursun bir parçasıdır
Python ile GARCH Modelleri
Egzersiz talimatları
evaluate()içinde,sklean.metricsiçindeki ilgili fonksiyonu çağırarak MAE hesaplamasını yap.evaluate()içinde,sklean.metricsiçindeki ilgili fonksiyonu çağırarak MSE hesaplamasını yap.- Backtest'i gerçekleştirmek için değişkenleri
evaluate()fonksiyonuna geçir.
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
def evaluate(observation, forecast):
# Call sklearn function to calculate MAE
mae = ____(observation, forecast)
print('Mean Absolute Error (MAE): {:.3g}'.format(mae))
# Call sklearn function to calculate MSE
mse = ____(observation, forecast)
print('Mean Squared Error (MSE): {:.3g}'.format(mse))
return mae, mse
# Backtest model with MAE, MSE
evaluate(____, ____)