Zacznij terazZacznij za darmo

Przetwarzanie wielu endpointów z expand

Twój zespół pobiera dane z wielu endpointów API, które zmieniają się w czasie. Zakodowanie osobnego zadania dla każdego z nich na stałe oznacza, że trzeba edytować DAG za każdym razem, gdy endpoint zostaje dodany lub usunięty. W tym ćwiczeniu zamienisz ten sztywny pipeline w pipeline oparty na danych: dzięki expand() Airflow odczytuje listę endpointów w trakcie działania i uruchamia po jednej instancji zadania dla każdego elementu — pipeline automatycznie dostosowuje się do zmieniającej się liczby endpointów.

To ćwiczenie jest częścią kursu

Budowanie potoków danych z Airflow

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie