Idempotentny potok danych
Potok danych twojego kolegi dołącza dane sprzedaży przy każdym uruchomieniu, przez co ponowne uruchomienia i backfille generują duplikaty. Zarówno tabela staging, jak i sales mają kolumnę date (format YYYY-MM-DD).
Zespół musi sprawić, by potok był idempotentny: przefiltruj zapytanie do tabeli staging według daty logicznej i dodaj preoperator, który usuwa istniejące wiersze z tabeli sales.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie