Evaluasi peramalan & eksperimen
Dalam latihan ini, Anda akan mengevaluasi kinerja model peramalan untuk mengeksplorasi kasus penggunaan eksperimen.
Hasil peramalan yang sudah digabung (fc), yang memadukan prediksi dengan hasil uji aktual, telah dimuat. Fungsi evaluasi (mape, rmse, coverage) dan pandas (sebagai pd) juga siap digunakan. Berikut referensi singkat fungsi-fungsinya:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Pertama, hitung metrik kinerja untuk model tersebut. Lalu, jawab pertanyaan tentang tujuan eksperimen dalam peramalan.
Latihan ini adalah bagian dari kursus
Merancang Pipeline Peramalan untuk Produksi
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)