Menghitung ambang batas dan rata-rata bergerak
Anda akan melacak akurasi peramalan dari waktu ke waktu untuk mendeteksi model drift. Dengan menghitung jendela bergulir dan menetapkan tingkat ambang untuk memicu peringatan drift, Anda dapat mengidentifikasi saat model tidak lagi selaras dengan realitas dan perlu dilatih ulang.
Anda akan menggunakan 14 peramalan pertama dari fc_log_test untuk menetapkan ambang batas, lalu menerapkannya pada log peramalan lainnya. Log peramalan fc_log_test dan fc_log yang berisi skor kinerja model telah dimuat sebelumnya, bersama dengan pandas sebagai pd.
Latihan ini adalah bagian dari kursus
Merancang Pipeline Peramalan untuk Produksi
Petunjuk latihan
- Tentukan tingkat ambang dari
fc_log_testdengan menambahkan tiga simpangan baku ke mean RMSE, simpan sebagairmse_threshold. - Hitung rata-rata bergerak RMSE menggunakan jendela bergulir 7 hari dan 14 hari untuk
fc_log.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
# Set threshold: mean + 3 standard deviations
rmse_threshold = fc_log_test["____"].mean() + 3 * fc_log_test["____"].____()
# Create rolling window averages for RMSE
fc_log["rmse_ma_7"] = fc_log["rmse"].rolling(window=____).____()
fc_log["rmse_ma_14"] = fc_log["rmse"].rolling(window=____).____()
print(f"RMSE threshold: {round(rmse_threshold, 2)}")
print()
print("Forecast log with rolling averages:")
print(fc_log[["forecast_start", "rmse", "rmse_ma_7", "rmse_ma_14"]].head(20))