Tạo một FileSensor
Sau khi đọc về FileSensor, bạn quyết định thử triển khai một phiên bản cơ bản để làm quen với một số tham số thường dùng. FileSensor này sẽ được dùng để đảm bảo một tệp dữ liệu cụ thể có mặt trước khi tiếp tục.
FileSensor sẽ thăm dò (poll) tệp theo chu kỳ đều đặn và dừng chờ khi đã vượt quá timeout giây. Với mode='reschedule', slot của worker sẽ được giải phóng giữa các lần thăm dò.
Bài tập này là một phần của khóa học
Giới thiệu về Apache Airflow bằng Python
Hướng dẫn bài tập
- Import thư viện phù hợp để sử dụng FileSensor.
- Gán
prechecktham chiếu tới đối tượng FileSensor. - Cấu hình FileSensor tìm tệp "salesdata_ready.csv".
- Đặt timeout là 5 phút.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____
# Set the file sensor to an alias
precheck = ____(
task_id='check_for_datafile',
# Wait for this file to exist before continuing
filepath='____',
timeout=____,
mode="reschedule"
)