Наблюдение за тем, как партиционированные ассеты запускают зависимый DAG
Вышестоящий DAG sales_pipeline_v3 и нижестоящий DAG sales_report из предыдущего упражнения развёрнуты и готовы к запуску. Пайплайн продаж выполняется каждую минуту и при каждом запуске генерирует партиционированное событие daily_sales, тогда как отчёт учитывает только дату — именно для этого и предназначен StartOfDayMapper. Посмотрим, как они работают вместе.
Выполните следующие шаги по порядку:
- В представлении Dags активируйте
sales_reportпервым, чтобы он был готов отреагировать на поступление события ассета. - Затем активируйте
sales_pipeline_v3: он запускается каждую минуту и при каждом запуске генерирует партиционированное событиеdaily_sales. - Подождите около минуты, пока
sales_pipeline_v3завершит выполнение, — после этогоsales_reportзапустится автоматически по событию ассета. - Откройте
sales_report, перейдите на вкладку Runs, откройте последний запуск и найдите Mapped Partition key в верхней части сведений о запуске.
В каком формате указан Mapped Partition key?
Это упражнение является частью курса
Построение пайплайнов данных с Airflow
Практическое интерактивное упражнение
Превратите теорию в практику с помощью одного из наших интерактивных упражнений
Начать упражнение