你是 Global Retail Analytics 的資料工程師。你的主管指出 online_retail 資料集有品質問題——缺少客戶 ID、重複列,以及被取消的訂單,這些都在扭曲每週報表。
online_retail
在開始任何分析之前,你需要先定義明確的綱要,診斷資料品質問題,並建立一個清理管線,移除無效的記錄。
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你將學會使用 Databricks 筆記本、將 CSV 資料載入為 Spark DataFrame,並透過 PySpark 與 SQL 進行資料塑形。
學習如何明確定義結構、建立資料清理管線,並透過廣播連接最佳化查詢效能。
當前練習
學習如何使用視窗函式計算累積總和與排名、建立串流管線,並部署生產環境工作流程。