在本章中，你將學會使用 Databricks 筆記本、將 CSV 資料載入為 Spark DataFrame，並透過 PySpark 與 SQL 進行資料塑形。

使用 Databricks 筆記本

認識 Databricks Notebook

載入你的第一個資料集

探索 driver 日誌

使用 PySpark 與 SQL 進行資料整形

使用 PySpark 來整理資料

使用 SQL 分析資料

理解暫時檢視（temporary view）

載入與塑形資料

學習如何明確定義結構、建立資料清理管線，並透過廣播連接最佳化查詢效能。

資料清理與品質檢查

為什麼要明確指定結構描述（schema）

清理線上零售資料集

選對品質檢查指標

有效率地彙總與連接資料

合併並彙總零售資料

理解 shuffle 瓶頸

何時使用 broadcast join

資料清理與最佳化

學習如何使用視窗函式計算累積總和與排名、建立串流管線，並部署生產環境工作流程。

視窗函式與串流查詢

使用視窗函式為顧客排名

將零售串流資料寫入 Delta Lake

重新啟動後的復原

使用 workflows 建立生產管線

寫入與讀取 Delta 資料表

建立多任務的作業 pipeline

為什麼要改用 Lakeflow？

總結

分析與生產環境管線

transactions

country_lookup

online_retail

準備好在大規模情境處理真實世界的資料了嗎？本課程將帶你在 Databricks 中使用 Spark SQL 與 PySpark 轉換大型資料集。你將學會整理與清理資料、以最佳化的連接執行彙總，並運用視窗函式進行進階分析。你也會設定以檔案為基礎的串流，使用具備容錯能力的檢查點，並將結果持久化為 Delta 資料表。完成後，你將能以 Databricks Workflows 與 Lakeflow Declarative Pipelines 協調多步驟的生產環境管線。


Introduction to Databricks SQL

Introduction to PySpark

建立端到端數據管道，從清理和聚合到流處理和編排。

在 Databricks 使用 Spark SQL 進行資料轉換

助理資料工程師 在 Databricks

Lead Data Engineer

當 groupBy 不夠用時

累計總額（Running total）

客戶排名

什麼是串流？

以檔案為基礎的串流

讀取串流

什麼是檢查點（checkpoint）？

寫出串流

監控：status 與 lastProgress

檢查點復原

一起來練習吧！

分析與生產環境管線 - 視窗函式與串流查詢

視窗函式與串流查詢

Create Your Free Account