Khi nào dùng poke, reschedule, hoặc deferrable

Nhóm của bạn đang rà soát cấu hình sensor trên ba pipeline:

Pipeline A: Một sensor kiểm tra tệp thường đến trong vòng 10 giây sau khi Dag bắt đầu.
Pipeline B: Một sensor chờ nguồn dữ liệu từ đối tác đến trong khoảng thời gian 4 giờ. Có 20 sensor tương tự chạy đồng thời.
Pipeline C: Một sensor kiểm tra API endpoint mỗi 2 phút và thường phải chờ 15 phút.

Kết hợp chế độ sensor nào là phù hợp nhất?

Bài tập này là một phần của khóa học

Xây dựng Data Pipeline với Airflow

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi