Создание FileSensor

Ознакомившись с FileSensor, вы решаете реализовать простой сенсор, чтобы разобраться с его основными параметрами. Этот FileSensor будет проверять наличие конкретного файла с данными перед продолжением выполнения DAG.

FileSensor опрашивает файловую систему с заданным интервалом и прекращает ожидание по истечении timeout секунд. При использовании mode='reschedule' рабочий слот освобождается между опросами.

Это упражнение является частью курса

Введение в Apache Airflow на Python

Посмотреть курс

Инструкции к упражнению

Импортируйте необходимую библиотеку для использования FileSensor.
Присвойте переменной precheck объект FileSensor.
Настройте FileSensor так, чтобы он искал файл "salesdata_ready.csv".
Установите тайм-аут равным 5 минутам.

Интерактивное практическое упражнение

Попробуйте выполнить это упражнение, дополнив этот пример кода.

# Import the FileSensor class
from airflow.providers.standard.sensors.filesystem import ____

# Set the file sensor to an alias
precheck = ____(
  task_id='check_for_datafile',
  # Wait for this file to exist before continuing
  filepath='____',
  timeout=____,
  mode="reschedule"
)

Редактировать и запускать код