始める無料で始める

パーティション対応パイプラインの作成

通常のアセットイベントは、「何かが変わった」ということをダウンストリームのコンシューマーに伝えるだけで、どのデータのスライスが変わったかまでは伝えません。実際の現場では、レポーティングチームやアナリティクスチームは、すべてを再実行するのではなく、実際に変更されたパーティション(たとえば特定の1日分)だけを再処理したいケースがほとんどです。アセットパーティションはパーティションキーをダウンストリームに伝えるため、コンシューマーは必要なスライスだけに対応できます。この演習では、販売パイプラインを日次パーティションのタイムテーブルでスケジュールし、実行のたびにパーティション付きの daily_sales イベントを発行する設定を行いましょう。

この演習はコースの一部です

Airflow によるデータパイプラインの構築

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する