觀察分割區資產觸發下游 Dag
前一題的上游 sales_pipeline_v3 與下游 sales_report 這兩個 Dag 已經部署完成並可執行。sales pipeline 每分鐘執行一次,每次都會發出具分割區的 daily_sales 事件;而報表只在乎日期。這正是 StartOfDayMapper 的用途。現在就來看看它們如何協同運作。
請依序完成以下步驟:
- 在 Dags 檢視中,先啟用
sales_report,讓它在資產事件抵達時能立即回應。 - 接著啟用
sales_pipeline_v3;它會每分鐘執行一次,且在每次執行時發出具分割區的daily_sales事件。 - 等待約 1 分鐘讓
sales_pipeline_v3完成——sales_report之後會由該資產事件自動觸發。 - 開啟
sales_report,前往 Runs 分頁,打開最新一次的執行,並在執行詳細資料頂端找到 Mapped Partition key。
Mapped Partition key 的日期格式是什麼?
本練習屬於課程
