Giám sát và cảnh báo trong một data pipeline
Đến lúc ghép tất cả lại với nhau! Có lẽ bạn cũng đoán được: xử lý lỗi bằng try-except và ghi log luôn đi kèm. Hai thực hành này là cốt lõi để pipeline có khả năng phục hồi và minh bạch, đồng thời là nền tảng cho các giải pháp giám sát và cảnh báo nâng cao.
pandas đã được nhập dưới bí danh pd, và mô-đun logging đã được tải và cấu hình sẵn cho bạn. DataFrame raw_sales_data đã được trích xuất và sẵn sàng để biến đổi.
Bài tập này là một phần của khóa học
ETL và ELT với Python
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")