在影片中,你看到數種可以協助排程 Spark 工作的工具。你也看到了 cron 的限制,以及它如何促成像 Airflow、Prefect 和 Dagster 這類框架的發展。
Airflow 有許多實用功能。不過,請從下列清單中選出一項 cron 也能提供的功能。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在第一章中,你將走進資料工程的世界!你會了解資料工程師與資料科學家的差異,概覽資料工程師常用的各種工具,並加深對雲端技術在資料工程中所扮演角色的理解。
既然你已掌握資料工程師與資料科學家的主要差異,接下來就來探索資料工程師的工具箱吧!你會深入學習資料工程師使用的不同資料庫類型、瞭解平行運算為何是工具組的基石,以及如何使用排程框架來安排資料處理工作。
當前練習
在熟悉資料工程師的工具箱之後,現在該進入資料工程師日常工作的核心!透過 ETL,你會學到如何從各種來源擷取原始資料、將這些原始資料轉換為可行的洞見,並載入到合適的資料庫中,讓使用者可以直接取用。
把前三章所學整合起來,完成一個來自 DataCamp 的真實資料工程情境!你將執行並排程一個 ETL 流程,把原始的課程評分資料轉換為可用的課程推薦,提供給 DataCamp 學生參考。