Переключение сенсора в отложенный режим
Ваша команда использует десятки сенсоров в разных пайплайнах, и рабочие слоты становятся узким местом. Даже в режиме reschedule каждый сенсор на короткое время занимает слот при каждой проверке. Отложенный режим идёт дальше: он полностью передаёт ожидание компоненту Triggerer — лёгковесному процессу с асинхронным вводом-выводом, который никогда не занимает рабочий слот.
Вам нужно настроить этот FileSensor так, чтобы он использовал отложенный режим.
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение