Traiter plusieurs points de terminaison avec expand
Votre équipe extrait des données à partir de plusieurs points de terminaison d'API qui évoluent dans le temps. Coder en dur une tâche distincte pour chacun vous oblige à modifier le Dag chaque fois qu'un point de terminaison est ajouté ou retiré. Dans cet exercice, vous allez transformer ce pipeline rigide en un pipeline piloté par les données : avec expand(), Airflow lit la liste des points de terminaison à l'exécution et lance une instance de tâche par élément, de sorte que le pipeline s'ajuste automatiquement au changement du nombre de points de terminaison.
Cette activité fait partie du cours
Créer des pipelines de données avec Airflow
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice