Когда использовать poke, reschedule или deferrable

Ваша команда проверяет конфигурации сенсоров в трёх пайплайнах:

Pipeline A: Сенсор проверяет наличие файла, который обычно появляется в течение 10 секунд после запуска DAG.
Pipeline B: Сенсор ожидает поступления данных от партнёра в течение 4-часового окна. Параллельно работают 20 аналогичных сенсоров.
Pipeline C: Сенсор опрашивает API-эндпоинт каждые 2 минуты и обычно ждёт около 15 минут.

Какая комбинация режимов сенсоров подходит лучше всего?

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Превратите теорию в практику с помощью одного из наших интерактивных упражнений