始める無料で始める

パイプラインのべき等性を確保する

同僚のパイプラインは、実行のたびに売上データを追記するため、再実行やバックフィル時に重複データが発生してしまいます。staging テーブルと sales テーブルにはどちらも date カラム(形式:YYYY-MM-DD)があります。

パイプラインをべき等にしましょう。具体的には、ステージングクエリを論理日付でフィルタリングし、sales テーブルの既存行を削除する preoperator を追加します。

この演習はコースの一部です

Airflow によるデータパイプラインの構築

コースを見る

実践的なインタラクティブ演習

理論を実践に変える、インタラクティブな演習のひとつをお試しください

演習を開始する