Jak udělat pipeline idempotentní
Pipeline tvého kolegy přidává prodejní data při každém spuštění, takže opakované spuštění a backfilly vytvářejí duplicity. Tabulky staging i sales mají sloupec date (formát YYYY-MM-DD).
Váš tým potřebuje pipeline udělat idempotentní: filtrovat dotaz na staging podle logického data a přidat preoperator, který smaže existující řádky z tabulky sales.
Toto cvičení je součástí kurzu
Tvorba datových pipeline s Airflow
Interaktivní praktické cvičení
Proměňte teorii v praxi s jedním z našich interaktivních cvičení
Začít cvičení