Tahmin değerlendirme ve deneysellik
Bu egzersizde, deneyselliğin kullanım alanlarını keşfetmek için tahmin modelinin performansını değerlendireceksin.
Tahminlerle gerçek test sonuçlarını birleştiren birleştirilmiş tahmin (fc) önceden yüklendi. Değerlendirme fonksiyonları (mape, rmse, coverage) ve pandas (pd olarak) da hazır. İşte fonksiyonlar için hızlı bir referans:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Önce model için performans metriklerini hesapla. Ardından, tahminlemede deneyselliğin hedefleriyle ilgili bir soruyu yanıtla.
Bu egzersiz
Üretim için Tahmin (Forecasting) Hatları Tasarlama
kursunun bir parçasıdırUygulamalı interaktif egzersiz
Bu örnek kodu tamamlayarak bu egzersizi bitirin.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)