Aan de slagBegin gratis

Een gepartitioneerde pipeline maken

Een gewoon asset-event vertelt downstream consumers dat "er iets is veranderd", maar niet welke datapartitie. In de praktijk hoeven reporting- en analytics-teams meestal alleen de partitie die echt is gewijzigd te herverwerken, zoals een enkele dag, in plaats van alles opnieuw uit te voeren. Asset-partities dragen die partitiesleutel mee downstream, zodat consumers precies op het juiste deel kunnen reageren. In deze oefening plan je je sales-pipeline in op een dagelijkse partitieplanning en zend je bij elke run een gepartitioneerd daily_sales-event uit.

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening