Вышестоящий DAG sales_pipeline_v3 и нижестоящий DAG sales_report из предыдущего упражнения развёрнуты и готовы к запуску. Пайплайн продаж выполняется каждую минуту и при каждом запуске генерирует партиционированное событие daily_sales, тогда как отчёт учитывает только дату — именно для этого и предназначен StartOfDayMapper. Посмотрим, как они работают вместе.

Выполните следующие шаги по порядку:

В представлении Dags активируйте sales_report первым, чтобы он был готов отреагировать на поступление события ассета.
Затем активируйте sales_pipeline_v3: он запускается каждую минуту и при каждом запуске генерирует партиционированное событие daily_sales.
Подождите около минуты, пока sales_pipeline_v3 завершит выполнение, — после этого sales_report запустится автоматически по событию ассета.
Откройте sales_report, перейдите на вкладку Runs, откройте последний запуск и найдите Mapped Partition key в верхней части сведений о запуске.

В каком формате указан Mapped Partition key?

Планирование с учётом партиций с помощью Asset Partitions

Create Your Free Account