การติดตามและแจ้งเตือนภายใน data pipeline
ถึงเวลารวมทุกอย่างเข้าด้วยกันแล้ว! การจัดการข้อผิดพลาดด้วย try-except และการบันทึก log นั้นทำงานควบคู่กันเสมอ ทั้งสองวิธีนี้เป็นส่วนสำคัญที่ทำให้ pipeline มีความทนทานและโปร่งใส และยังเป็นรากฐานสำหรับระบบติดตามและแจ้งเตือนขั้นสูงต่อไปด้วย
ได้ import pandas เป็น pd ไว้แล้ว รวมถึงโหลดและกำหนดค่าโมดูล logging ให้เรียบร้อยแล้ว DataFrame raw_sales_data ถูก extract มาแล้วและพร้อมสำหรับการ transform
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL และ ELT ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")