Zacznij terazZacznij za darmo

Idempotentny potok danych

Potok danych twojego kolegi dołącza dane sprzedaży przy każdym uruchomieniu, przez co ponowne uruchomienia i backfille generują duplikaty. Zarówno tabela staging, jak i sales mają kolumnę date (format YYYY-MM-DD).

Zespół musi sprawić, by potok był idempotentny: przefiltruj zapytanie do tabeli staging według daty logicznej i dodaj preoperator, który usuwa istniejące wiersze z tabeli sales.

To ćwiczenie jest częścią kursu

Budowanie potoków danych z Airflow

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie