開始使用免費開始

讓 pipeline 具有冪等性(idempotent)

有位同事的 pipeline 每次執行都會把銷售資料往後附加,因此重跑與回補會產生重複。stagingsales 這兩個資料表都有一個 date 欄位(格式為 YYYY-MM-DD)。

你的團隊需要讓這個 pipeline 具備冪等性:在 staging 查詢中依邏輯日期過濾,並加入 preoperator 先從 sales 資料表刪除既有列。

本練習屬於課程

使用 Airflow 建置資料管線

檢視課程

動手互動練習

將理論付諸實踐,立即體驗我們的互動練習

開始練習