Een gepartitioneerde pipeline maken
Een gewoon asset-event vertelt downstream consumers dat "er iets is veranderd", maar niet welke datapartitie. In de praktijk hoeven reporting- en analytics-teams meestal alleen de partitie die echt is gewijzigd te herverwerken, zoals een enkele dag, in plaats van alles opnieuw uit te voeren. Asset-partities dragen die partitiesleutel mee downstream, zodat consumers precies op het juiste deel kunnen reageren. In deze oefening plan je je sales-pipeline in op een dagelijkse partitieplanning en zend je bij elke run een gepartitioneerd daily_sales-event uit.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening