CommencezCommencez gratuitement

Traiter plusieurs points de terminaison avec expand

Votre équipe extrait des données à partir de plusieurs points de terminaison d'API qui évoluent dans le temps. Coder en dur une tâche distincte pour chacun vous oblige à modifier le Dag chaque fois qu'un point de terminaison est ajouté ou retiré. Dans cet exercice, vous allez transformer ce pipeline rigide en un pipeline piloté par les données : avec expand(), Airflow lit la liste des points de terminaison à l'exécution et lance une instance de tâche par élément, de sorte que le pipeline s'ajuste automatiquement au changement du nombre de points de terminaison.

Cette activité fait partie du cours

Créer des pipelines de données avec Airflow

Voir le cours

Exercice interactif pratique

Passez de la théorie à l’action grâce à l’un de nos exercices interactifs

Commencer l’exercice