Planificarea pe active cu partiții
Acum că sursa emite evenimente daily_sales cu partiții, DAG-ul de raportare poate reacționa la ele automat – rulând doar pentru partiția care tocmai a fost actualizată, fără să reprocesseze toate datele. Sursa emite un timestamp complet, dar raportul are nevoie doar de data calendaristică; normalizarea acestei chei este exact rolul lui StartOfDayMapper. În acest exercițiu, vei programa raportul din aval pe activul cu partiții și vei mapa fiecare eveniment la ziua corespunzătoare.
Sursa din amonte este pre-completată în fișier pentru context, iar în exercițiul următor vei vedea ambele DAG-uri lucrând împreună.
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul