การรัน Data Pipeline แบบ End-to-End
การติดตามประสิทธิภาพของ pipeline ขณะรันในระบบ production เป็นสิ่งสำคัญ ก่อนหน้านี้ในคอร์ส เราได้ศึกษาเครื่องมืออย่าง exception handling และ logging แล้ว ในแบบฝึกหัดสุดท้ายนี้ เราจะฝึกรัน pipeline แบบ end-to-end พร้อมติดตาม exception และบันทึก log ประสิทธิภาพไปด้วย
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
ETL และ ELT ด้วย Python
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
import logging
# Import extract, transform, and load functions from pipeline_utils
____