Se hur partitionerade assets triggar ett nedströms-DAG
Det uppströms-DAG:et sales_pipeline_v3 och nedströms-DAG:et sales_report från föregående övning är driftsatta och redo att köras. Sales pipeline körs varje minut och skickar ut ett partitionerat daily_sales-event vid varje körning, medan rapporten bara bryr sig om datumet – det är precis det som StartOfDayMapper är till för. Nu är det dags att se dem samverka.
Follj dessa steg i ordning:
- I DAG-vyn aktiverar du
sales_reportförst så att det är redo att reagera när asset-eventet anländer. - Aktivera sedan
sales_pipeline_v3– det körs varje minut och skickar ut ett partitioneratdaily_sales-event vid varje körning. - Vänta ungefär en minut tills
sales_pipeline_v3är klart –sales_reporttriggas då automatiskt från asset-eventet. - Öppna
sales_report, gå till fliken Runs, öppna den senaste körningen och leta upp Mapped Partition key längst upp i körningsdetaljerna.
Vilket datumformat har Mapped Partition key?
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen