Evaluasi peramalan & eksperimen
Dalam latihan ini, Anda akan mengevaluasi kinerja model peramalan untuk mengeksplorasi kasus penggunaan eksperimen.
Hasil peramalan yang sudah digabung (fc), yang memadukan prediksi dengan hasil uji aktual, telah dimuat. Fungsi evaluasi (mape, rmse, coverage) dan pandas (sebagai pd) juga siap digunakan. Berikut referensi singkat fungsi-fungsinya:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Pertama, hitung metrik kinerja untuk model tersebut. Lalu, jawab pertanyaan tentang tujuan eksperimen dalam peramalan.
Latihan ini merupakan bagian dari kursus
Merancang Pipeline Peramalan untuk Produksi
Latihan interaktif langsung praktik
Cobalah latihan ini dengan melengkapi kode contoh ini.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)