在本章中，你會學到如何在 Spark 中建立並查詢 SQL 資料表。Spark SQL 為 Spark 帶來了 SQL 的表達力。你也會學習如何在 Spark 中使用 SQL 視窗函式。視窗函式會在與目前列相關的多列之間進行運算。它大幅簡化了只用連接與傳統彙總難以達成的結果。我們會用視窗函式來計算累計和、逐步差值，以及其他在基本 SQL 中不易完成的操作。

在 Spark 中建立與查詢 SQL 資料表

從 dataframe 建立 SQL 資料表

找出資料表的欄位名稱

Window function SQL

使用視窗函式 SQL 計算執行中總和

修正壞掉的查詢

點記號與 SQL

彙總，逐步來

對同一欄位做兩次彙總

彙總 dot SQL

將以點記法撰寫的 window 函式轉為 SQL

PySpark SQL

在本章中，你會載入自然語言文字。接著你會套用移動視窗分析，找出常見的詞序列。

載入自然語言文字

從 Parquet 檔載入 DataFrame

切分並展開文字欄位

使用 monotonically_increasing_id()

移動視窗分析

建立語境視窗特徵資料

重新分割資料

常見的詞序列

這是屬於哪一種資料？

尋找常見的詞序列

依序排序的唯一 5-tuples

每章最常見的 3 元組

使用視窗函式 SQL 進行自然語言處理

在前幾章中，你學會了使用具高表達力的視窗函式 SQL。不過，正因為這種表達力，現在更需要理解如何正確快取 DataFrame 與快取 SQL 資料表。同時，了解如何評估你的應用程式也很重要。你將學會使用 Spark UI 來達成這點。你還會學到在 Spark 進行記錄（logging）的最佳做法。Spark SQL 也帶來另一個用於調整查詢效能的實用工具：查詢執行計畫。你會學到如何使用執行計畫來評估 DataFrame 的來源脈絡（provenance）。

快取

練習快取：第 1 部分

快取實作練習：SQL

快取實作：綜合練習

快取與取消快取資料表

Spark UI

Spark UI 的 Storage 分頁

在 Spark UI 中檢視快取

記錄（Logging）

練習記錄（logging）

練習記錄日誌 2

查詢計畫

練習查詢計畫

練習解讀查詢計畫 2

快取、記錄與 Spark UI

前面的章節已提供你載入原始文字、進行斷詞，以及擷取詞序列的工具。這對分析已經很有用，同時也能用於機器學習。現在你會把所學整合起來，使用邏輯斯迴歸來進行文字分類。完成本章後，你將載入原始自然語言文字資料，並用它來訓練一個文字分類器。

Extract Transform Select

練習建立 UDF

練習陣列欄位

建立用於分類的特徵資料

為向量資料建立 UDF

將 UDF 套用到向量資料

將文字轉換為向量格式

文字分類

為資料加上標籤

切分資料

訓練分類器

預測與評估

評估分類器

對測試資料進行預測

重點回顧

Sherlock (parquet file)

Sherlock (txt file)

Train schedule

如果你熟悉 SQL，並且聽過 Apache Spark 的強大之處，這門課正適合你。Apache Spark 是用來處理大量資料的運算框架，而 Spark SQL 是其中的元件。本課程約 4 小時，將示範如何運用進階 SQL 功能（例如視窗函式）把 Spark 的用途提升到新層次。

在 4 個章節中，你會使用 Spark SQL 分析時間序列資料、從文字文件中擷取最常見的單字、從自然語言文字建立特徵集，並用邏輯斯迴歸來預測一句話的最後一個字。

你會先在 Spark 中建立並查詢 SQL 資料表，並學習如何使用 SQL 視窗函式來進行累計和、逐步差值，以及其他運算。

接著，你會探索如何在 Spark SQL 中運用視窗函式於自然語言處理，包括使用移動視窗分析來找出常見的詞序列。

在第 3 章，你會學到如何使用 SQL Spark UI 正確快取 DataFrame 與 SQL 資料表，然後再探討 Spark 中的記錄（logging）最佳做法。

最後，你會整合至今所學，先載入並斷詞原始文字，再擷取詞序列。之後使用邏輯斯迴歸來分類文字，以原始自然語言資料訓練文字分類器。

本課程提供對 Spark SQL 的完整入門介紹。結束時，你將扎實掌握基礎，並理解 Spark 如何結合分散式運算的威力與 Python 與 SQL 的易用性。

<h2>學習 Spark SQL</h2>
如果您已熟悉SQL，並且聽說過Apache Spark的強大功能，那麼這門課程非常適合您。 Apache Spark 是一個用於處理大數據的運算框架，而 Spark SQL 則是 Apache Spark 的一個組件。 這門四小時的課程將帶您深入學習如何運用進階 SQL 功能（如視窗函數），讓 Spark 發揮更高層次的效用。
<br><br>
在四個章節中，您將運用 Spark SQL 分析時間序列資料，從文字文件中擷取最常見的詞彙，從自然語言文字建立特徵集，並利用這些特徵集，透過邏輯迴歸預測句子的最後一個單字。
<br><br>
<h2>探索 Spark SQL 的應用</h2>
您將從在 Spark 中建立並查詢 SQL 資料表開始，並學習如何使用 SQL 視窗函數來執行累計總和、累計差異及其他運算。
<br><br>
接下來，您將學習如何在 Spark SQL 中使用 window function 進行自然語言處理，包括運用移動視窗分析來尋找常見的詞語序列。
<br><br>
在第 3 章中，您將學習如何使用 SQL Spark UI 正確快取 DataFrame 和 SQL 資料表，並進一步了解 Spark 記錄的最佳實踐。
<br><br>
最後，您將運用至今所學的所有技能，載入並斷詞原始文本，然後擷取詞語序列。 接著，您將運用邏輯迴歸來對文本進行分類，並利用原始自然語言資料訓練文本分類器。
<br><br>
<h2>全面認識 Spark SQL</h2>
在本課程結束時，您將對 Spark SQL 有扎實的理解，並能掌握 Spark 如何結合分散式運算的強大能力與 Python 和 SQL 的易用性。 

Python Toolbox

PostgreSQL Summary Stats and Window Functions

Introduction to PySpark

學習使用Spark SQL分析時間序列、提取常見詞序列、從文本創建特徵集進行預測等。

Python Spark SQL 入門

掌握如何在 Spark 中使用 Python 的 SQL 操作資料並建立 machine learning feature sets。

助理資料工程師 在 Databricks

這是屬於哪一種資料？

Python Spark SQL 入門

動手互動練習