Tahmin değerlendirme ve deneysellik
Bu egzersizde, deneyselliğin kullanım alanlarını keşfetmek için tahmin modelinin performansını değerlendireceksin.
Tahminlerle gerçek test sonuçlarını birleştiren birleştirilmiş tahmin (fc) önceden yüklendi. Değerlendirme fonksiyonları (mape, rmse, coverage) ve pandas (pd olarak) da hazır. İşte fonksiyonlar için hızlı bir referans:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Önce model için performans metriklerini hesapla. Ardından, tahminlemede deneyselliğin hedefleriyle ilgili bir soruyu yanıtla.
Bu egzersiz, kursun bir parçasıdır
Üretim için Tahmin (Forecasting) Hatları Tasarlama
Uygulamalı etkileşimli egzersiz
Bu egzersizi bu örnek kodu tamamlayarak deneyin.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)