Urmărind cum asset-urile partiționate declanșează un Dag din aval
Dag-urile sales_pipeline_v3 (din amonte) și sales_report (din aval) din exercițiul anterior sunt implementate și gata de rulare. Pipeline-ul de vânzări rulează în fiecare minut și emite un eveniment daily_sales partiționat la fiecare rulare, iar raportul ține cont doar de dată — exact pentru asta există StartOfDayMapper. E momentul să le urmărești cum lucrează împreună.
Urmează acești pași în ordine:
- În vizualizarea Dags, activează
sales_reportmai întâi, astfel încât să fie pregătit să reacționeze când sosește evenimentul de asset. - Apoi activează
sales_pipeline_v3; rulează în fiecare minut și emite un evenimentdaily_salespartiționat la fiecare rulare. - Așteaptă aproximativ un minut ca
sales_pipeline_v3să se finalizeze —sales_reportse va declanșa automat pe baza evenimentului de asset. - Deschide
sales_report, accesează tab-ul Runs, deschide cea mai recentă rulare și găsește Mapped Partition key în partea de sus a detaliilor rulării.
Care este formatul datei pentru Mapped Partition key?
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul