ПочатиПочніть безкоштовно

Оброблення кількох endpoint'ів за допомогою expand

Ваша команда отримує дані з кількох API endpoint'ів, які з часом змінюються, а жорстке прописування окремого завдання для кожного означає, що Dag доводиться редагувати щоразу, коли endpoint додають або видаляють. У цій вправі ви перетворите такий жорсткий конвеєр на керований даними: з expand() Airflow читає список endpoint'ів під час виконання та запускає окремий екземпляр завдання для кожного елемента, тож конвеєр автоматично підлаштовується, коли кількість endpoint'ів змінюється.

Ця вправа є частиною курсу

Створення конвеєрів даних з Airflow

Переглянути курс

Практична інтерактивна вправа

Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ

Почати вправу