Cum faci un pipeline idempotent
Pipeline-ul unui coleg adaugă date de vânzări la fiecare rulare, astfel că re-rulările și backfill-urile generează duplicate. Atât tabela staging, cât și tabela sales au o coloană date (format YYYY-MM-DD).
Echipa ta trebuie să facă pipeline-ul idempotent: filtrează interogarea din staging după data logică și adaugă un preoperator care șterge rândurile existente din tabela sales.
Acest exercițiu face parte din cursul
Construirea pipeline-urilor de date cu Airflow
Exercițiu interactiv practic
Transformă teoria în practică cu unul dintre exercițiile noastre interactive
Începe exercițiul