ÎncepețiÎncepe gratuit

Planificarea pe active cu partiții

Acum că sursa emite evenimente daily_sales cu partiții, DAG-ul de raportare poate reacționa la ele automat – rulând doar pentru partiția care tocmai a fost actualizată, fără să reprocesseze toate datele. Sursa emite un timestamp complet, dar raportul are nevoie doar de data calendaristică; normalizarea acestei chei este exact rolul lui StartOfDayMapper. În acest exercițiu, vei programa raportul din aval pe activul cu partiții și vei mapa fiecare eveniment la ziua corespunzătoare.

Sursa din amonte este pre-completată în fișier pentru context, iar în exercițiul următor vei vedea ambele DAG-uri lucrând împreună.

Acest exercițiu face parte din cursul

Construirea pipeline-urilor de date cu Airflow

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul