开始使用免费开始使用

观察分区资产如何触发下游 Dag

上游的 sales_pipeline_v3 和下游的 sales_report Dag 已从上一个练习部署完毕并可运行。销售管道每分钟运行一次,并在每次运行时发出带分区的 daily_sales 事件,而报表只关心日期;这正是 StartOfDayMapper 的用途。现在来观察它们如何协同工作。

请按以下顺序操作:

  1. 在 Dags 视图中,先激活 sales_report,以便在资产事件到达时立即响应。
  2. 然后激活 sales_pipeline_v3;它每分钟运行一次,并在每次运行时发出带分区的 daily_sales 事件。
  3. 等待约 1 分钟让 sales_pipeline_v3 完成——随后 sales_report 会由该资产事件自动触发。
  4. 打开 sales_report,进入 Runs 选项卡,打开最新一次运行,并在运行详情顶部找到 Mapped Partition key

Mapped Partition key 的日期格式是什么?

本练习是课程的一部分

使用 Airflow 构建数据流水线

查看课程

动手互动练习

通过我们的互动练习之一,将理论转化为实践

开始练习