Biến một sensor thành deferrable
Nhóm của bạn chạy hàng chục sensor trên nhiều pipeline khác nhau và các worker slot đang trở thành nút thắt cổ chai. Ngay cả ở chế độ reschedule, mỗi sensor vẫn chiếm slot trong chốc lát mỗi lần thức dậy để kiểm tra. Chế độ deferrable tiến xa hơn bằng cách chuyển toàn bộ thời gian chờ sang Triggerer, một tiến trình gọn nhẹ dùng async I/O và không bao giờ chiếm worker slot.
Bạn sẽ cấu hình FileSensor này để tận dụng cơ chế deferral.
Bài tập này là một phần của khóa học
Xây dựng Data Pipeline với Airflow
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập