НачатьНачать бесплатно

Making a sensor deferrable

Your team runs dozens of sensors across different pipelines, and worker slots are becoming a bottleneck. Even in reschedule mode, each sensor briefly occupies a slot every time it wakes up to check. Deferrable mode goes further by handing the wait entirely to the Triggerer, a lightweight process that uses async I/O and never occupies a worker slot.

You'll configure this FileSensor to take advantage of deferral.

Это упражнение является частью курса

Building Data Pipelines with Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение