Začněte nyníZačněte zdarma

Jak udělat pipeline idempotentní

Pipeline tvého kolegy přidává prodejní data při každém spuštění, takže opakované spuštění a backfilly vytvářejí duplicity. Tabulky staging i sales mají sloupec date (formát YYYY-MM-DD).

Váš tým potřebuje pipeline udělat idempotentní: filtrovat dotaz na staging podle logického data a přidat preoperator, který smaže existující řádky z tabulky sales.

Toto cvičení je součástí kurzu

Tvorba datových pipeline s Airflow

Zobrazit kurz

Interaktivní praktické cvičení

Proměňte teorii v praxi s jedním z našich interaktivních cvičení

Začít cvičení