Zpracování více endpointů pomocí expand
Tvůj tým načítá data z více API endpointů, které se v čase mění. Pevně zakódovat samostatný task pro každý z nich znamená upravovat DAG pokaždé, když se endpoint přidá nebo odebere. V tomto cvičení přeměníš tuhle rigidní pipeline na datově řízenou: díky expand() Airflow načte seznam endpointů za běhu a pro každou položku spustí vlastní instanci tasku – pipeline se tak automaticky přizpůsobí, kdykoli se počet endpointů změní.
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení