Sledování, jak partitioned assety spouštějí navazující Dag
Upstream Dag sales_pipeline_v3 a downstream Dag sales_report z předchozího cvičení jsou nasazené a připravené ke spuštění. Pipeline se spouští každou minutu a při každém běhu emituje partitioned událost daily_sales — report zajímá jen datum, a přesně k tomu slouží StartOfDayMapper. Teď se podíváme, jak spolupracují.
Postupuj podle těchto kroků:
- V zobrazení Dags nejdřív aktivuj
sales_report, aby byl připravený reagovat, jakmile dorazí asset událost. - Pak aktivuj
sales_pipeline_v3— spouští se každou minutu a při každém běhu emituje partitioned událostdaily_sales. - Počkej asi minutu, než
sales_pipeline_v3dokončí běh —sales_reportse pak automaticky spustí na základě asset události. - Otevři
sales_report, přejdi na záložku Runs, otevři poslední běh a nahoře v detailech běhu najdi Mapped Partition key.
Jaký formát data má Mapped Partition key?
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení