НачатьНачать бесплатно

Настройка сенсора для продакшена

В вашем пайплайне используется FileSensor, который ожидает поступления CSV-отчёта перед его обработкой. В режиме poke по умолчанию сенсор удерживает слот воркера всё время ожидания, даже если файл появляется лишь через несколько минут.

Для продакшена сенсор должен освобождать слот между проверками и иметь защитный таймаут, чтобы не ждать бесконечно.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение