Настройка сенсора для продакшена
В вашем пайплайне используется FileSensor, который ожидает поступления CSV-отчёта перед его обработкой. В режиме poke по умолчанию сенсор удерживает слот воркера всё время ожидания, даже если файл появляется лишь через несколько минут.
Для продакшена сенсор должен освобождать слот между проверками и иметь защитный таймаут, чтобы не ждать бесконечно.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение