ПочатиПочніть безкоштовно

Зробімо сенсор відкладним (deferrable)

Ваша команда запускає десятки сенсорів у різних конвеєрах, і слоти воркерів стають вузьким місцем. Навіть у режимі reschedule кожен сенсор щоразу на мить займає слот, коли „прокидається" для перевірки. Відкладний режим іде далі: він повністю передає очікування процесу Triggerer — легкій службі, що використовує async I/O і ніколи не займає слот воркера.

Ви налаштуєте цей FileSensor, щоб скористатися відкладенням.

Ця вправа є частиною курсу

Створення конвеєрів даних з Airflow

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу