Een pipeline idempotent maken
De pipeline van een collega voegt bij elke run verkoopdata toe, waardoor re-runs en backfills duplicaten opleveren. Zowel de tabellen staging als sales hebben een kolom date (formaat YYYY-MM-DD).
Je team moet de pipeline idempotent maken: filter de staging-query op de logische datum en voeg een preoperator toe om bestaande rijen uit de tabel sales te verwijderen.
Deze oefening maakt deel uit van de cursus
Data-pijplijnen bouwen met Airflow
Interactieve oefening met praktijkervaring
Zet theorie om in actie met een van onze interactieve oefeningen
Begin oefening