パイプラインのべき等性を確保する
同僚のパイプラインは、実行のたびに売上データを追記するため、再実行やバックフィル時に重複データが発生してしまいます。staging テーブルと sales テーブルにはどちらも date カラム(形式:YYYY-MM-DD)があります。
パイプラインをべき等にしましょう。具体的には、ステージングクエリを論理日付でフィルタリングし、sales テーブルの既存行を削除する preoperator を追加します。
この演習はコースの一部です
同僚のパイプラインは、実行のたびに売上データを追記するため、再実行やバックフィル時に重複データが発生してしまいます。staging テーブルと sales テーブルにはどちらも date カラム(形式:YYYY-MM-DD)があります。
パイプラインをべき等にしましょう。具体的には、ステージングクエリを論理日付でフィルタリングし、sales テーブルの既存行を削除する preoperator を追加します。
この演習はコースの一部です