Observer des actifs partitionnés déclencher un DAG en aval
Les DAG en amont sales_pipeline_v3 et en aval sales_report de l'exercice précédent sont déployés et prêts à s'exécuter. Le pipeline des ventes s'exécute chaque minute et émet un événement daily_sales partitionné à chaque exécution, tandis que le rapport ne s'intéresse qu'à la date ; c'est exactement le rôle de StartOfDayMapper. Voyons-les fonctionner ensemble.
Suivez ces étapes dans l'ordre :
- Dans la vue Dags, activez d'abord
sales_reportafin qu'il soit prêt à réagir quand l'événement d'actif arrivera. - Activez ensuite
sales_pipeline_v3; il s'exécute chaque minute et émet un événementdaily_salespartitionné à chaque exécution. - Attendez environ une minute que
sales_pipeline_v3se termine —sales_reportse déclenchera alors automatiquement à partir de l'événement d'actif. - Ouvrez
sales_report, allez à l'onglet Runs, ouvrez la plus récente exécution et repérez la Mapped Partition key en haut des détails de l'exécution.
Quel est le format de date de Mapped Partition key ?
Cette activité fait partie du cours
Créer des pipelines de données avec Airflow
Exercice interactif pratique
Passez de la théorie à l’action grâce à l’un de nos exercices interactifs
Commencer l’exercice