你在 Global Retail Analytics 的團隊需要一個可在多個工作階段之間持久保存清理後資料的可靠方式。現在所有東西都只在記憶體中,叢集關閉時就會消失。
使用 Delta Lake 將清理後的零售資料儲存為受管資料表,並透過 Unity Catalog 將它讀回。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你將學會使用 Databricks 筆記本、將 CSV 資料載入為 Spark DataFrame,並透過 PySpark 與 SQL 進行資料塑形。
學習如何明確定義結構、建立資料清理管線,並透過廣播連接最佳化查詢效能。
學習如何使用視窗函式計算累積總和與排名、建立串流管線,並部署生產環境工作流程。
當前練習