始める無料で始める

パーティション対応アセットがダウンストリーム Dag をトリガーする様子を確認する

前の演習でデプロイしたアップストリームの sales_pipeline_v3 とダウンストリームの sales_report Dag が、実行できる状態で用意されています。sales pipeline は1分ごとに実行され、毎回パーティション付きの daily_sales イベントを発行します。一方、sales report が必要とするのは日付のみです。そこで活躍するのが StartOfDayMapper です。実際に2つの Dag が連携して動く様子を確認しましょう。

以下の手順を順番に実行してください。

  1. Dags ビューで、アセットイベントを受け取る準備を整えるため、最初に sales_report を有効化します。
  2. 次に sales_pipeline_v3 を有効化します。この Dag は1分ごとに実行され、毎回パーティション付きの daily_sales イベントを発行します。
  3. sales_pipeline_v3 が完了するまで約1分待ちます。完了すると、アセットイベントをきっかけに sales_report が自動的にトリガーされます。
  4. sales_report を開き、Runs タブに移動します。最新の実行を開いて、実行詳細の上部にある Mapped Partition key を確認します。

Mapped Partition key の日付形式はどれですか?

この演習はコースの一部です

Airflow によるデータパイプラインの構築

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する