Bekijken hoe gepartitioneerde assets een downstream Dag triggeren
De upstream sales_pipeline_v3- en downstream sales_report-Dags uit de vorige oefening zijn gedeployed en klaar om te draaien. De sales-pijplijn draait elke minuut en geeft bij elke run een gepartitioneerd daily_sales-event af, terwijl het rapport alleen naar de datum kijkt; precies waarvoor StartOfDayMapper bedoeld is. Tijd om ze samen aan het werk te zien.
Volg deze stappen in deze volgorde:
- Activeer in de Dags-weergave eerst
sales_report, zodat die klaarstaat om te reageren zodra het asset-event binnenkomt. - Activeer daarna
sales_pipeline_v3; die draait elke minuut en geeft bij elke run een gepartitioneerddaily_sales-event af. - Wacht ongeveer een minuut tot
sales_pipeline_v3klaar is —sales_reportwordt dan automatisch getriggerd door het asset-event. - Open
sales_report, ga naar het tabblad Runs, open de laatste run en zoek bovenaan de run-details de Mapped Partition key.
Wat is het datumformaat van Mapped Partition key?
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening