Observer des assets partitionnés déclencher un Dag en aval
Les Dags amont sales_pipeline_v3 et aval sales_report de l'exercice précédent sont déployés et prêts à s'exécuter. Le pipeline des ventes s'exécute chaque minute et émet un événement daily_sales partitionné à chaque exécution, tandis que le rapport ne s'intéresse qu'à la date ; c'est exactement le rôle de StartOfDayMapper. Il est temps de les voir fonctionner ensemble.
Suivez ces étapes dans l'ordre :
- Dans la vue Dags, activez d'abord
sales_reportpour qu'il soit prêt à réagir lorsque l'événement d'asset arrivera. - Activez ensuite
sales_pipeline_v3; il s'exécute chaque minute et émet un événementdaily_salespartitionné à chaque exécution. - Attendez environ une minute que
sales_pipeline_v3se termine —sales_reportse déclenchera alors automatiquement à partir de l'événement d'asset. - Ouvrez
sales_report, allez dans l'onglet Runs, ouvrez la dernière exécution et trouvez la Mapped Partition key en haut des détails de l'exécution.
Quel est le format de date de Mapped Partition key ?
Cet exercice fait partie du cours
<cours>Créer des pipelines de données avec Airflow</cours>Exercice interactif pratique
Transformez la théorie en action avec l’un de nos exercices interactifs
Commencer l’exercice