現在這個訂單 pipeline 會處理兩條資料流:orders 與 returns。你可以將 Task Group 以巢狀方式組合,讓結構對應到這兩條資料流,由一個父群組包住相關的子群組。group_display_name 參數可以在 Airflow UI 中替每個群組設定易讀的標籤,而不受 Python 函式名稱影響。
group_display_name
orders 群組已經設定完成,接下來你要在父層包裝器裡新增一個對應的 returns 群組。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
你將先認識 Airflow 的元件,使用 TaskFlow API 撰寫你的第一個 Dags,並透過 XCom 在任務之間傳遞資料。
接著,你會用動態任務對映平行執行任務,使用 Assets 以資料為基準排程 Dags,並加入人工核准步驟。
本章將透過重試與回呼處理失敗情況,使用可延後的感測器節省資源,並以三個層級測試你的 Dags。
當前練習
在最後一章,你會在 DuckDB 上建置 SQL ETL 管線,使用 Asset Partitions 加入分割區感知的排程,並內嵌資料品質檢查。