Aan de slagBegin gratis

Plannen op gepartitioneerde assets

Nu de upstream gepartitioneerde daily_sales-events uitstuurt, kan de rapportage-Dag daar automatisch op reageren. Hij draait dan alleen voor de partitie die zojuist is vernieuwd, in plaats van elke datum opnieuw te verwerken. De upstream stuurt een volledige timestamp mee, maar het rapport heeft alleen de kalenderdatum nodig; precies daarvoor is StartOfDayMapper bedoeld. In deze oefening plan je het downstream-rapport op de gepartitioneerde asset en map je elk event naar zijn dag.

De upstream is ter context al ingevuld in het bestand, en in de volgende oefening zie je beide Dags samenwerken.

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening