Оброблення кількох endpoint'ів за допомогою expand
Ваша команда отримує дані з кількох API endpoint'ів, які з часом змінюються, а жорстке прописування окремого завдання для кожного означає, що Dag доводиться редагувати щоразу, коли endpoint додають або видаляють. У цій вправі ви перетворите такий жорсткий конвеєр на керований даними: з expand() Airflow читає список endpoint'ів під час виконання та запускає окремий екземпляр завдання для кожного елемента, тож конвеєр автоматично підлаштовується, коли кількість endpoint'ів змінюється.
Ця вправа є частиною курсу
Створення конвеєрів даних з Airflow
Практична інтерактивна вправа
Перетворіть теорію на практику за допомогою однієї з наших інтерактивних вправ
Почати вправу