パーティション分割アセットのスケジューリング

上流が daily_sales イベントをパーティション分割して出力するようになったので、レポート用 Dag はそのイベントに自動的に反応し、すべての日付を再処理するのではなく、更新されたパーティションのみを対象に実行できます。上流はタイムスタンプ全体を出力しますが、レポートが必要とするのはカレンダーの日付だけです。このキーを正規化するのが StartOfDayMapper の役割です。この演習では、パーティション分割アセットに対して下流レポートをスケジュールし、各イベントをその日付にマッピングします。

上流のコードはコンテキストとしてファイルにあらかじめ記載されています。次の演習では、両方の Dag が連携して動作する様子を確認します。