Sygnalizowanie dostępności danych za pomocą outlet Asset
Twój zespół ma pipeline, który zapisuje codzienne dane sprzedaży do s3://data-lake/sales/daily.csv, a kilka dalszych pipeline'ów zależy od tych danych. Zamiast zmuszać je do cyklicznego sprawdzania lub zgadywania, kiedy plik jest gotowy, dołączysz outlet Asset — dzięki temu zadanie wyśle sygnał o aktualizacji danych dokładnie w momencie zakończenia. To właśnie ten sygnał pozwala innym DAG-om planować uruchomienia na podstawie samych danych.
Po uzupełnieniu kodu uruchom plik, a następnie sprawdź, czy asset został zarejestrowany i zaktualizowany, korzystając z Airflow CLI.
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie