在本章中，您将学习如何在 Spark 中创建并查询 SQL 表。Spark SQL 将 SQL 的表达力带入 Spark。您还将学习如何在 Spark 中使用 SQL 窗口函数。窗口函数在与当前行相关的多行上执行计算。它们能极大简化仅用连接和传统聚合难以表达的结果。我们将使用窗口函数来执行累计求和、累计差分，以及其他在基础 SQL 中较为困难的操作。

在 Spark 中创建并查询 SQL 表

从 dataframe 创建一个 SQL 表

确定表的列名

Window function SQL

使用窗口函数 SQL 计算运行和

修复错误查询

点号表示法与 SQL

逐步进行聚合

对同一列做两次聚合

聚合的点式 SQL

将窗口函数从点号表示法转换为 SQL

PySpark SQL

在本章中，您将加载自然语言文本。随后，您将应用移动窗口分析来查找高频词序列。

加载自然语言文本

从 parquet 文件加载 dataframe

拆分并展开文本列

使用 monotonically_increasing_id()

滑动窗口分析

构建上下文窗口特征数据

重新分区数据

常见词序列

这属于哪种数据类型

查找常见的词序列

按排序的唯一 5 元组

每章中最常见的 3 元组

将窗口函数 SQL 用于自然语言处理

在前几章中，您已经学会了如何使用窗口函数 SQL 的强大表达力。然而，正因为这种表达力，现在有必要理解如何正确缓存 DataFrame 和缓存 SQL 表。同时，了解如何评估您的应用也很重要。您将学习如何使用 Spark UI 来完成这一点。您还将学习 Spark 中的日志记录最佳实践。Spark SQL 还带来了另一个用于优化查询性能的有用工具——查询执行计划。您将学习如何使用执行计划来评估 DataFrame 的来源与演变。

缓存

练习缓存：第 1 部分

缓存练习：SQL

练习缓存：把所有要点串起来

缓存与取消缓存表

Spark UI

Spark UI 的 Storage 选项卡

在 Spark UI 中检查缓存

日志记录

练习日志记录

实践日志记录 2

查询计划

练习查询计划

练习阅读查询计划 2

缓存、日志与 Spark UI

前几章已经为您提供了加载原始文本、进行分词并提取词序列的工具。这些对于分析很有用，对机器学习同样适用。接下来，您将把这些知识结合起来，使用逻辑回归对文本进行分类。到本章结束时，您将加载原始自然语言文本数据，并用它来训练一个文本分类器。

Extract Transform Select

练习创建 UDF

练习数组列

为分类创建特征数据

为向量数据创建 UDF

将 UDF 应用于向量数据

将文本转换为向量格式

文本分类

为数据打标签

划分数据

训练分类器

预测与评估

评估分类器

预测测试数据

小结

Sherlock (parquet file)

Sherlock (txt file)

Train schedule

如果您熟悉 SQL，并且听说过 Apache Spark 的强大功能，那么这门课程正适合您。Apache Spark 是一个用于处理大数据的计算框架，Spark SQL 是其中的一个组件。本课程时长 4 小时，将向您展示如何借助窗口函数等高级 SQL 功能，把 Spark 的实用性提升到一个新水平。

在接下来的四个章节中，您将使用 Spark SQL 分析时间序列数据，从文本文档中提取最常见的词语，从自然语言文本创建特征集，并使用逻辑回归来预测句子的最后一个词。

您将从在 Spark 中创建并查询 SQL 表开始，并学习如何使用 SQL 窗口函数来执行累计求和、累计差分等操作。

接着，您将探索如何在 Spark SQL 中使用窗口函数进行自然语言处理，包括使用移动窗口分析来寻找常见的词序列。

在第 3 章，您将学习如何使用 SQL Spark UI 正确缓存 DataFrame 和 SQL 表，并在此基础上了解 Spark 中的日志记录最佳实践。

最后，您将综合前面学到的技能，加载并分词原始文本，然后提取词序列。随后，您将使用逻辑回归对文本进行分类，利用原始自然语言数据训练文本分类器。

本课程系统地介绍了 Spark SQL。到课程结束时，您将牢固掌握基础知识，并理解 Spark 如何将分布式计算的能力与 Python 和 SQL 的易用性相结合。

<h2>学习 Spark SQL</h2>
如果你已经熟悉 SQL，并且听说过 Apache Spark 的强大之处，那么这门课程就是为你准备的。 Apache Spark 是一个用于处理大数据的计算框架，而 Spark SQL 是 Apache Spark 的一个组件。 这门四小时的课程将向你展示如何利用高级 SQL 功能（例如窗口函数），将 Spark 的实用性提升到一个新的水平。
<br><br>
在4个章节的课程中，您将使用 Spark SQL 分析时间序列数据，从文本文档中提取最常见的词语，从自然语言文本创建特征集，并利用这些特征通过逻辑回归预测句子的最后一个词。
<br><br>
<h2>探索 Spark SQL 的用途</h2>
你将首先在 Spark 中创建并查询一个 SQL 表，同时学习如何使用 SQL 窗口函数来执行累计求和、差分以及其他操作。
<br><br>
接下来，你将探索如何在 Spark SQL 中使用窗口函数进行自然语言处理，包括使用移动窗口分析来查找常见词序列。
<br><br>
在第 3 章中，你将学习如何使用 SQL Spark UI 在探索 Spark 中的日志记录最佳实践之前正确缓存 DataFrame 和 SQL 表。
<br><br>
最后，你将运用迄今为止学到的所有技能，在提取词序列之前加载并对原始文本进行分词。 然后你将使用逻辑回归对文本进行分类，利用原始自然语言数据来训练文本分类器。
<br><br>
<h2>全面了解 Spark SQL</h2>
在课程结束时，你将牢固掌握 Spark SQL，并了解 Spark 如何将分布式计算的强大能力与 Python 和 SQL 的易用性相结合。 

Python Toolbox

PostgreSQL Summary Stats and Window Functions

Introduction to PySpark

学习使用Spark SQL分析时间序列、提取常用词序列、从文本创建特征集进行预测等。

Python 中的 Spark SQL 入门

学习如何在 Python 中使用 SQL 在 Spark 中处理数据并创建机器学习特征集。

初级数据工程师 在 Databricks

使用 monotonically_increasing_id()

Python 中的 Spark SQL 入门

动手互动练习