Bắt đầu ngayBắt đầu miễn phí

Biến một sensor thành deferrable

Nhóm của bạn chạy hàng chục sensor trên nhiều pipeline khác nhau và các worker slot đang trở thành nút thắt cổ chai. Ngay cả ở chế độ reschedule, mỗi sensor vẫn chiếm slot trong chốc lát mỗi lần thức dậy để kiểm tra. Chế độ deferrable tiến xa hơn bằng cách chuyển toàn bộ thời gian chờ sang Triggerer, một tiến trình gọn nhẹ dùng async I/O và không bao giờ chiếm worker slot.

Bạn sẽ cấu hình FileSensor này để tận dụng cơ chế deferral.

Bài tập này là một phần của khóa học

Xây dựng Data Pipeline với Airflow

Xem khóa học

Bài tập tương tác thực hành

Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi

Bắt đầu bài tập