我們學到感測器(sensor)也能用位移語法來定義相依關係,和其他工作一樣。你在查看同事的工作流程定義時,想弄清楚各個工作的實際執行順序。相關的程式碼如下:
pull_data_sensor >> clean >> run_ml_pipeline initialize_process >> pull_data_sensor run_ml_pipeline >> generate_reports
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你會完整認識 Apache Airflow 的組成元件,並了解該如何、以及為什麼要使用它們。
DAG 準備好了嗎?現在要來學習實作 Airflow DAGs 的基礎。透過動手操作,你會學到如何設定與部署 operators、tasks,以及排程。
當前練習
在本章中,你會學到如何運用 Airflow 的元件(例如 sensors 與 executors)來節省時間,同時監控並疑難排解 Airflow 工作流程。
把所學統整起來。在最後一章中,你會綜合應用先前學到的內容,在 Airflow 中打造可供正式環境使用的工作流程。