CommencerCommencez gratuitement

Observer des assets partitionnés déclencher un Dag en aval

Les Dags amont sales_pipeline_v3 et aval sales_report de l'exercice précédent sont déployés et prêts à s'exécuter. Le pipeline des ventes s'exécute chaque minute et émet un événement daily_sales partitionné à chaque exécution, tandis que le rapport ne s'intéresse qu'à la date ; c'est exactement le rôle de StartOfDayMapper. Il est temps de les voir fonctionner ensemble.

Suivez ces étapes dans l'ordre :

  1. Dans la vue Dags, activez d'abord sales_report pour qu'il soit prêt à réagir lorsque l'événement d'asset arrivera.
  2. Activez ensuite sales_pipeline_v3 ; il s'exécute chaque minute et émet un événement daily_sales partitionné à chaque exécution.
  3. Attendez environ une minute que sales_pipeline_v3 se termine — sales_report se déclenchera alors automatiquement à partir de l'événement d'asset.
  4. Ouvrez sales_report, allez dans l'onglet Runs, ouvrez la dernière exécution et trouvez la Mapped Partition key en haut des détails de l'exécution.

Quel est le format de date de Mapped Partition key ?

Cet exercice fait partie du cours

<cours>Créer des pipelines de données avec Airflow</cours>
Voir le cours

Exercice interactif pratique

Transformez la théorie en action avec l’un de nos exercices interactifs

Commencer l’exercice