Gör en pipeline idempotent
En kollegas pipeline lägger till försäljningsdata vid varje körning, vilket gör att omkörningar och backfills skapar dubbletter. Både tabellen staging och tabellen sales har en kolumn date (format YYYY-MM-DD).
Ditt team behöver göra pipelinen idempotent: filtrera staging-frågan på det logiska datumet och lägg till en preoperator som tar bort befintliga rader från tabellen sales.
Den här övningen är en del av kursen
Bygg datapipelines med Airflow
Interaktiv övning med praktiskt arbete
Gör teori till handling med en av våra interaktiva övningar
Starta övningen