Коли використовувати poke, reschedule або deferrable
Ваша команда переглядає налаштування сенсорів у трьох конвеєрах:
- Pipeline A: сенсор перевіряє наявність файла, який зазвичай з'являється протягом 10 секунд після запуску Dag.
- Pipeline B: сенсор очікує на потік даних від партнера, який надходить упродовж 4-годинного вікна. Паралельно працюють 20 подібних сенсорів.
- Pipeline C: сенсор перевіряє кінцеву точку API кожні 2 хвилини й зазвичай чекає 15 хвилин.
Яка комбінація режимів сенсорів найкраще підходить?
Ця вправа є частиною курсу
Створення конвеєрів даних з Airflow
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу