เลือกใช้ poke, reschedule หรือ deferrable เมื่อไหร่
ทีมกำลังตรวจสอบการตั้งค่า sensor ใน 3 pipeline:
- Pipeline A: sensor ตรวจสอบไฟล์ที่มักจะมาถึงภายใน 10 วินาทีหลังจาก Dag เริ่มทำงาน
- Pipeline B: sensor รอรับ data feed จากพาร์ตเนอร์ที่จะมาถึงในช่วงเวลา 4 ชั่วโมง โดยมี sensor ลักษณะเดียวกันทำงานพร้อมกันถึง 20 ตัว
- Pipeline C: sensor ตรวจสอบ API endpoint ทุก 2 นาที และโดยทั่วไปจะรอประมาณ 15 นาที
การผสมผสานโหมด sensor แบบใดที่เหมาะสมที่สุด?
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การสร้าง Data Pipeline ด้วย Airflow
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำจริง
เปลี่ยนทฤษฎีให้เป็นการลงมือทำด้วยแบบฝึกหัดเชิงโต้ตอบหนึ่งในของเรา
เริ่มแบบฝึกหัด