一般的資產事件只會告訴下游使用者「有東西改變了」,但不會說明是哪一塊資料。實務上,報表與分析團隊通常只需要重新處理實際變動的那個分割區,例如單一天,而不是全部重跑。資產分割區會把分割區鍵往下游傳遞,讓使用者只針對正確的那一片資料做反應。在這個練習中,你會把銷售 pipeline 以每日分割區的時間表排程,並在每次執行時發出分割區化的 daily_sales 事件。
daily_sales
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
你將先認識 Airflow 的元件,使用 TaskFlow API 撰寫你的第一個 Dags,並透過 XCom 在任務之間傳遞資料。
接著,你會用動態任務對映平行執行任務,使用 Assets 以資料為基準排程 Dags,並加入人工核准步驟。
本章將透過重試與回呼處理失敗情況,使用可延後的感測器節省資源,並以三個層級測試你的 Dags。
在最後一章,你會在 DuckDB 上建置 SQL ETL 管線,使用 Asset Partitions 加入分割區感知的排程,並內嵌資料品質檢查。
當前練習