Procesarea mai multor endpoint-uri cu expand
Echipa ta extrage date din mai multe endpoint-uri API care se modifică în timp, iar hardcodarea unui task separat pentru fiecare înseamnă că trebuie să editezi DAG-ul de fiecare dată când un endpoint este adăugat sau eliminat. În acest exercițiu, vei transforma acea conductă rigidă într-una bazată pe date: cu expand(), Airflow citește lista de endpoint-uri la runtime și pornește câte o instanță de task pentru fiecare element, astfel încât pipeline-ul se ajustează automat pe măsură ce numărul de endpoint-uri se schimbă.
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul