НачатьНачать бесплатно

Переключение сенсора в отложенный режим

Ваша команда использует десятки сенсоров в разных пайплайнах, и рабочие слоты становятся узким местом. Даже в режиме reschedule каждый сенсор на короткое время занимает слот при каждой проверке. Отложенный режим идёт дальше: он полностью передаёт ожидание компоненту Triggerer — лёгковесному процессу с асинхронным вводом-выводом, который никогда не занимает рабочий слот.

Вам нужно настроить этот FileSensor так, чтобы он использовал отложенный режим.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение