Зробімо сенсор відкладним (deferrable)
Ваша команда запускає десятки сенсорів у різних конвеєрах, і слоти воркерів стають вузьким місцем. Навіть у режимі reschedule кожен сенсор щоразу на мить займає слот, коли „прокидається" для перевірки. Відкладний режим іде далі: він повністю передає очікування процесу Triggerer — легкій службі, що використовує async I/O і ніколи не займає слот воркера.
Ви налаштуєте цей FileSensor, щоб скористатися відкладенням.
Ця вправа є частиною курсу
Створення конвеєрів даних з Airflow
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу