Obserwowanie, jak partycjonowane zasoby wyzwalają downstream DAG
Upstream DAG sales_pipeline_v3 oraz downstream DAG sales_report z poprzedniego ćwiczenia są wdrożone i gotowe do uruchomienia. Pipeline sprzedaży działa co minutę i przy każdym uruchomieniu emituje partycjonowane zdarzenie daily_sales, natomiast raport interesuje się wyłącznie datą — do tego właśnie służy StartOfDayMapper. Czas zobaczyć, jak oba DAG-i współpracują.
Wykonaj poniższe kroki po kolei:
- W widoku DAG-ów aktywuj najpierw
sales_report, żeby był gotowy na odebranie zdarzenia o zasobie. - Następnie aktywuj
sales_pipeline_v3; uruchamia się co minutę i przy każdym uruchomieniu emituje partycjonowane zdarzeniedaily_sales. - Odczekaj około minuty, aż
sales_pipeline_v3zakończy działanie —sales_reportwyzwoli się wtedy automatycznie na podstawie zdarzenia o zasobie. - Otwórz
sales_report, przejdź do zakładki Runs, otwórz najnowsze uruchomienie i znajdź pole Mapped Partition key na górze szczegółów uruchomienia.
Jaki jest format daty w polu Mapped Partition key?
To ćwiczenie jest częścią kursu
Budowanie potoków danych z Airflow
Interaktywne ćwiczenie praktyczne
Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń
Rozpocznij ćwiczenie