パーティション対応アセットがダウンストリーム Dag をトリガーする様子を確認する
前の演習でデプロイしたアップストリームの sales_pipeline_v3 とダウンストリームの sales_report Dag が、実行できる状態で用意されています。sales pipeline は1分ごとに実行され、毎回パーティション付きの daily_sales イベントを発行します。一方、sales report が必要とするのは日付のみです。そこで活躍するのが StartOfDayMapper です。実際に2つの Dag が連携して動く様子を確認しましょう。
以下の手順を順番に実行してください。
- Dags ビューで、アセットイベントを受け取る準備を整えるため、最初に
sales_reportを有効化します。 - 次に
sales_pipeline_v3を有効化します。この Dag は1分ごとに実行され、毎回パーティション付きのdaily_salesイベントを発行します。 sales_pipeline_v3が完了するまで約1分待ちます。完了すると、アセットイベントをきっかけにsales_reportが自動的にトリガーされます。sales_reportを開き、Runs タブに移動します。最新の実行を開いて、実行詳細の上部にある Mapped Partition key を確認します。
Mapped Partition key の日付形式はどれですか?
この演習はコースの一部です
