Przetwarzanie wielu endpointów z expand
Twój zespół pobiera dane z wielu endpointów API, które zmieniają się w czasie. Zakodowanie osobnego zadania dla każdego z nich na stałe oznacza, że trzeba edytować DAG za każdym razem, gdy endpoint zostaje dodany lub usunięty. W tym ćwiczeniu zamienisz ten sztywny pipeline w pipeline oparty na danych: dzięki expand() Airflow odczytuje listę endpointów w trakcie działania i uruchamia po jednej instancji zadania dla każdego elementu — pipeline automatycznie dostosowuje się do zmieniającej się liczby endpointów.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie