Cấu hình sensor cho môi trường production
Pipeline của bạn dùng FileSensor để chờ một báo cáo CSV đến trước khi xử lý. Ở chế độ poke mặc định, sensor giữ một worker slot suốt thời gian chờ, ngay cả khi tệp mất vài phút mới xuất hiện.
Đối với môi trường production, sensor nên giải phóng slot giữa các lần kiểm tra và có timeout an toàn để không chờ vô thời hạn.
Bài tập này là một phần của khóa học
Xây dựng Data Pipeline với Airflow
Bài tập tương tác thực hành
Biến lý thuyết thành hành động với một trong các bài tập tương tác của chúng tôi
Bắt đầu bài tập