НачатьНачать бесплатно

Обработка нескольких эндпоинтов с помощью expand

Ваша команда получает данные из нескольких API-эндпоинтов, которые со временем меняются. Если прописывать отдельную задачу для каждого эндпоинта вручную, придётся редактировать DAG каждый раз, когда эндпоинт добавляется или удаляется. В этом упражнении вы превратите такой жёсткий пайплайн в гибкий, управляемый данными: с помощью expand() Airflow считывает список эндпоинтов во время выполнения и запускает по одному экземпляру задачи на каждый элемент, поэтому пайплайн автоматически адаптируется при изменении их числа.

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение