Aan de slagBegin gratis

Een pipeline idempotent maken

De pipeline van een collega voegt bij elke run verkoopdata toe, waardoor re-runs en backfills duplicaten opleveren. Zowel de tabellen staging als sales hebben een kolom date (formaat YYYY-MM-DD).

Je team moet de pipeline idempotent maken: filter de staging-query op de logische datum en voeg een preoperator toe om bestaande rijen uit de tabel sales te verwijderen.

Deze oefening maakt deel uit van de cursus

Data-pijplijnen bouwen met Airflow

Bekijk cursus

Interactieve oefening met praktijkervaring

Zet theorie om in actie met een van onze interactieve oefeningen

Begin oefening