ÎncepețiÎncepe gratuit

Cum faci un pipeline idempotent

Pipeline-ul unui coleg adaugă date de vânzări la fiecare rulare, astfel că re-rulările și backfill-urile generează duplicate. Atât tabela staging, cât și tabela sales au o coloană date (format YYYY-MM-DD).

Echipa ta trebuie să facă pipeline-ul idempotent: filtrează interogarea din staging după data logică și adaugă un preoperator care șterge rândurile existente din tabela sales.

Acest exercițiu face parte din cursul

Construirea pipeline-urilor de date cu Airflow

Vezi cursul

Exercițiu interactiv practic

Transformă teoria în practică cu unul dintre exercițiile noastre interactive

Începe exercițiul