Global Retail Analytics 的一位初階工程師在對新的 online_retail 上傳檔執行清理管線時,誤把 na.drop(subset=["CustomerID"]) 這行註解掉了。其餘步驟——na.fill()、dropDuplicates(),以及無效紀錄的篩選——都正常執行且沒有錯誤。
online_retail
na.drop(subset=["CustomerID"])
na.fill()
dropDuplicates()
哪一個品質檢查指標能立刻揭露這個錯誤?
本練習屬於課程
將理論付諸實踐,立即體驗我們的互動練習
在本章中,你將學會使用 Databricks 筆記本、將 CSV 資料載入為 Spark DataFrame,並透過 PySpark 與 SQL 進行資料塑形。
學習如何明確定義結構、建立資料清理管線,並透過廣播連接最佳化查詢效能。
當前練習
學習如何使用視窗函式計算累積總和與排名、建立串流管線,並部署生產環境工作流程。