Zacznij terazZacznij za darmo

Obserwowanie, jak partycjonowane zasoby wyzwalają downstream DAG

Upstream DAG sales_pipeline_v3 oraz downstream DAG sales_report z poprzedniego ćwiczenia są wdrożone i gotowe do uruchomienia. Pipeline sprzedaży działa co minutę i przy każdym uruchomieniu emituje partycjonowane zdarzenie daily_sales, natomiast raport interesuje się wyłącznie datą — do tego właśnie służy StartOfDayMapper. Czas zobaczyć, jak oba DAG-i współpracują.

Wykonaj poniższe kroki po kolei:

  1. W widoku DAG-ów aktywuj najpierw sales_report, żeby był gotowy na odebranie zdarzenia o zasobie.
  2. Następnie aktywuj sales_pipeline_v3; uruchamia się co minutę i przy każdym uruchomieniu emituje partycjonowane zdarzenie daily_sales.
  3. Odczekaj około minuty, aż sales_pipeline_v3 zakończy działanie — sales_report wyzwoli się wtedy automatycznie na podstawie zdarzenia o zasobie.
  4. Otwórz sales_report, przejdź do zakładki Runs, otwórz najnowsze uruchomienie i znajdź pole Mapped Partition key na górze szczegółów uruchomienia.

Jaki jest format daty w polu Mapped Partition key?

To ćwiczenie jest częścią kursu

Budowanie potoków danych z Airflow

Zobacz kurs

Interaktywne ćwiczenie praktyczne

Przekształć teorię w praktykę dzięki jednemu z naszych interaktywnych ćwiczeń

Rozpocznij ćwiczenie