Plannen op gepartitioneerde assets
Nu de upstream gepartitioneerde daily_sales-events uitstuurt, kan de rapportage-Dag daar automatisch op reageren. Hij draait dan alleen voor de partitie die zojuist is vernieuwd, in plaats van elke datum opnieuw te verwerken. De upstream stuurt een volledige timestamp mee, maar het rapport heeft alleen de kalenderdatum nodig; precies daarvoor is StartOfDayMapper bedoeld. In deze oefening plan je het downstream-rapport op de gepartitioneerde asset en map je elk event naar zijn dag.
De upstream is ter context al ingevuld in het bestand, en in de volgende oefening zie je beide Dags samenwerken.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening