ทำให้ Pipeline เป็น Idempotent
Pipeline ของเพื่อนร่วมทีมเพิ่มข้อมูลยอดขายทุกครั้งที่รัน ทำให้การรันซ้ำและการ backfill สร้างข้อมูลซ้ำกัน ทั้งตาราง staging และตาราง sales มีคอลัมน์ date (รูปแบบ YYYY-MM-DD)
ทีมต้องทำให้ pipeline เป็น idempotent โดยกรองคิวรี staging ด้วย logical date และเพิ่ม preoperator เพื่อลบแถวที่มีอยู่แล้วออกจากตาราง sales
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Data Pipeline ด้วย Airflow
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด