НачатьНачать бесплатно

Наблюдение за тем, как партиционированные ассеты запускают зависимый DAG

Вышестоящий DAG sales_pipeline_v3 и нижестоящий DAG sales_report из предыдущего упражнения развёрнуты и готовы к запуску. Пайплайн продаж выполняется каждую минуту и при каждом запуске генерирует партиционированное событие daily_sales, тогда как отчёт учитывает только дату — именно для этого и предназначен StartOfDayMapper. Посмотрим, как они работают вместе.

Выполните следующие шаги по порядку:

  1. В представлении Dags активируйте sales_report первым, чтобы он был готов отреагировать на поступление события ассета.
  2. Затем активируйте sales_pipeline_v3: он запускается каждую минуту и при каждом запуске генерирует партиционированное событие daily_sales.
  3. Подождите около минуты, пока sales_pipeline_v3 завершит выполнение, — после этого sales_report запустится автоматически по событию ассета.
  4. Откройте sales_report, перейдите на вкладку Runs, откройте последний запуск и найдите Mapped Partition key в верхней части сведений о запуске.

В каком формате указан Mapped Partition key?

Это упражнение является частью курса

Построение пайплайнов данных с Airflow

Посмотреть курс

Практическое интерактивное упражнение

Превратите теорию в практику с помощью одного из наших интерактивных упражнений

Начать упражнение