Giám sát và cảnh báo trong một pipeline dữ liệu
Đến lúc ghép mọi thứ lại với nhau! Có lẽ bạn đã đoán ra: xử lý lỗi với try-except và ghi log luôn đi đôi với nhau. Hai thực hành này là chìa khóa để pipeline bền bỉ và minh bạch, đồng thời là nền tảng cho các giải pháp giám sát và cảnh báo nâng cao.
pandas đã được import là pd, và module logging đã được tải và cấu hình sẵn cho bạn. DataFrame raw_sales_data đã được trích xuất và sẵn sàng để chuyển đổi.
Bài tập này là một phần của khóa học
ETL và ELT với Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")