การตรวจสอบและการแจ้งเตือนภายในดาต้าไปป์ไลน์
ถึงเวลานำทุกอย่างมารวมกัน! คุณอาจเดาได้แล้วว่า การจัดการข้อผิดพลาดด้วย try-except และการบันทึกล็อกนั้นเป็นสิ่งที่ต้องทำควบคู่กันไป แนวทางทั้งสองนี้มีความสำคัญอย่างยิ่งต่อการทำให้ไปป์ไลน์มีความทนทานและโปร่งใส และยังเป็นพื้นฐานสำคัญสำหรับการสร้างระบบตรวจสอบและแจ้งเตือนขั้นสูงต่อไป
มีการนำเข้า pandas ในชื่อ pd ไว้แล้ว และโมดูล logging ก็ถูกโหลดและตั้งค่าไว้ให้แล้ว ส่วน DataFrame ชื่อ raw_sales_data ได้ถูกดึงข้อมูลออกมาเรียบร้อยและพร้อมสำหรับการแปลงข้อมูลแล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL and ELT ใน Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
def transform(raw_data):
return raw_data.loc[raw_data["Total Price"] > 1000, :]
try:
# Attempt to transform DataFrame, log an info-level message
clean_sales_data = transform(raw_sales_data)
logging.____("Successfully filtered DataFrame by 'Total Price'")
except Exception:
# Log a warning-level message
____.____("Cannot filter DataFrame by 'Total Price'")