Det uppströms-DAG:et sales_pipeline_v3 och nedströms-DAG:et sales_report från föregående övning är driftsatta och redo att köras. Sales pipeline körs varje minut och skickar ut ett partitionerat daily_sales-event vid varje körning, medan rapporten bara bryr sig om datumet – det är precis det som StartOfDayMapper är till för. Nu är det dags att se dem samverka.

Follj dessa steg i ordning:

I DAG-vyn aktiverar du sales_report först så att det är redo att reagera när asset-eventet anländer.
Aktivera sedan sales_pipeline_v3 – det körs varje minut och skickar ut ett partitionerat daily_sales-event vid varje körning.
Vänta ungefär en minut tills sales_pipeline_v3 är klart – sales_report triggas då automatiskt från asset-eventet.
Öppna sales_report, gå till fliken Runs, öppna den senaste körningen och leta upp Mapped Partition key längst upp i körningsdetaljerna.

Vilket datumformat har Mapped Partition key?

Partitionsmedveten schemaläggning med Asset Partitions

Create Your Free Account