Đánh giá dự báo & thực nghiệm
Trong bài tập này, bạn sẽ đánh giá hiệu suất của mô hình dự báo để khám phá các trường hợp sử dụng của thực nghiệm.
Bảng dự báo đã gộp (fc), kết hợp dự đoán với kết quả kiểm thử thực tế, đã được nạp sẵn. Các hàm đánh giá (mape, rmse, coverage) và pandas (đặt tên là pd) cũng sẵn sàng để dùng. Dưới đây là tham chiếu nhanh cho các hàm:
def mape(y, yhat):
mape = mean(abs(y - yhat) / y)
return mape
def rmse(y, yhat):
rmse = (mean((y - yhat) ** 2)) ** 0.5
return rmse
def coverage(y, lower, upper):
coverage = sum((y <= upper) & (y >= lower)) / len(y)
return coverage
Trước tiên, hãy tính các chỉ số hiệu suất cho mô hình. Sau đó, trả lời một câu hỏi về mục tiêu của thực nghiệm trong dự báo.
Bài tập này là một phần của khóa học
Thiết kế Pipeline Dự báo cho Môi trường Production
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
performance_metrics = []
# Loop through models and calculate metrics
for model in ["LGBMRegressor", "XGBRegressor", "LinearRegression"]:
performance_metrics.append({
"model": model,
"mape": ____(fc["y"], fc[model]),
"rmse": ____(fc["y"], fc[____]),
"coverage": ____(fc["y"], fc[f"{model}-lo-95"], fc[f"{model}-hi-95"])
})
# Create DataFrame and sort by RMSE
fc_performance = pd.DataFrame(performance_metrics).sort_values("____")
print(fc_performance)