Sierra Publishing 的資料工程團隊一直在研究 Databricks 的不同功能,以建置他們的資料工程管線。你的一位資料工程師向你提出了一個問題:
目前我從外部的資料湖位置讀取多個 CSV 檔案。要讓我的資料表維持正確非常困難,因為我不知道新資料檔案何時進來,而且也很難記得哪些檔案已經載入到我的資料表了。
你想用 Databricks 的內建功能來解決這個問題。以下哪些選項可以幫忙解決?
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
了解雲端資料策略中的新 Lakehouse 範式,以及 Databricks Lakehouse 平台如何讓你的資料架構現代化。認識 Databricks 平台的基礎元件,以及它們如何彼此整合。
學習使用 Databricks 的功能來處理、轉換與清理你的資料。實作 Delta 儲存格式、Delta Live Tables 與 Workflows 等能力,將它們結合起來建立端到端的資料管線。
當前練習
將 Databricks Lakehouse 平台作為你的資料倉儲解決方案,以支援商業智慧(BI)情境。使用 Databricks 內建、為 SQL 最佳化的功能,在你的資料上建立查詢與儀表板。
使用 Databricks 以受管的 MLFlow 管理你的機器學習管線。透過 Feature Store、Model Registry 與 Model Serving Endpoints,從端到端走過模型開發生命週期,在 Lakehouse 中打造健全的 MLOps 平台。