Aan de slagBegin gratis

Bekijken hoe gepartitioneerde assets een downstream Dag triggeren

De upstream sales_pipeline_v3- en downstream sales_report-Dags uit de vorige oefening zijn gedeployed en klaar om te draaien. De sales-pijplijn draait elke minuut en geeft bij elke run een gepartitioneerd daily_sales-event af, terwijl het rapport alleen naar de datum kijkt; precies waarvoor StartOfDayMapper bedoeld is. Tijd om ze samen aan het werk te zien.

Volg deze stappen in deze volgorde:

  1. Activeer in de Dags-weergave eerst sales_report, zodat die klaarstaat om te reageren zodra het asset-event binnenkomt.
  2. Activeer daarna sales_pipeline_v3; die draait elke minuut en geeft bij elke run een gepartitioneerd daily_sales-event af.
  3. Wacht ongeveer een minuut tot sales_pipeline_v3 klaar is — sales_report wordt dan automatisch getriggerd door het asset-event.
  4. Open sales_report, ga naar het tabblad Runs, open de laatste run en zoek bovenaan de run-details de Mapped Partition key.

Wat is het datumformaat van Mapped Partition key?

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening