Spark 是用于处理大数据的框架。本章将介绍 Spark 和机器学习的背景知识。随后，您将学习如何使用 Python 连接 Spark 并加载 CSV 数据。

机器学习与 Spark

Spark 的特性

Spark 集群的组成部分

连接 Spark

Spark master 的位置

创建 SparkSession

加载数据

加载航班数据

加载 SMS 垃圾短信数据

简介

在熟悉了如何将数据导入 Spark 之后，您将开始构建两类分类模型：决策树和逻辑回归。您还将了解几种数据准备的方法。

数据准备

删除列和行

列操作

分类列

组装列

Decision Tree 决策树

训练/测试集划分

构建 Decision Tree

评估决策树

Logistic 回归

构建一个 Logistic Regression 模型

评估 Logistic Regression 模型

将文本转成表格

标点、数字与分词

停用词与哈希

训练垃圾短信分类器

分类

接下来，您将学习创建线性回归模型。您还会学习如何通过构造新预测变量来增强数据，以及一种稳健的方法来仅选择最相关的预测变量。

独热编码（One-Hot Encoding）

对航班起飞机场进行编码

编码 T 恤尺码

回归

航班时长模型：仅使用距离

解释系数

航班时长模型：加入起飞机场

分桶与特征工程

起飞时间分箱

航班时长模型：加入起飞时间

正则化

航班时长模型：加入更多特征！

航班时长模型：正则化！

最后，您将学习如何提升模型的效率。您会了解如何使用流水线让代码更清晰、更易维护。随后，您将使用交叉验证更好地测试模型并选择合适的模型参数。最后，您还会接触两类集成模型。

Pipeline（管道）

航班时长模型：Pipeline 阶段

航班时长模型：Pipeline 模型

短信垃圾分类流水线

交叉验证

对简单航班时长模型进行交叉验证

对航班时长模型流水线进行交叉验证

网格搜索

优化航班线性回归

剖析最佳航班时长模型

优化 SMS 垃圾短信分类

网格搜索会训练多少个模型？

集成模型

使用梯度提升树预测航班延误

使用随机森林预测航班延误

评估随机森林

结语

集成与流水线

Flights

Spark 是一款功能强大、通用的大数据处理工具。Spark 能在集群中透明地分配计算任务。这不仅使操作更高效，也让您可以专注于分析本身，而无需过多担心技术细节。在本课程中，您将学习如何将数据导入 Spark，并深入掌握 Spark 中三类基础的机器学习算法：线性回归、逻辑回归/分类器，以及创建流水线（pipeline）。过程中，您将分析一个包含航班延误和垃圾短信的大型数据集。打下这些基础后，您就能充分发挥 Spark 的威力，应用到您自己的机器学习项目中！

<h2>学习使用 Apache Spark 进行机器学习</h2> 
Spark 是一个功能强大、通用的 Big Data 处理工具。 Spark 透明地处理集群中计算任务的分布。 这意味着操作速度很快，同时也让你能够专注于分析，而不必担心技术细节。 在本课程中，你将学习如何将数据导入 Spark，然后深入了解三种基础的 Spark 机器学习算法： 线性回归、逻辑回归/分类器，以及创建管道。
<br><br> 
<h2>构建和测试决策树</h2> 
构建自己的决策树是开始探索机器学习模型的绝佳方式。 你将使用一种名为“递归分区”的算法，将数据划分为两类，并在数据中找到一个预测变量，使两类之间的划分信息量最大，然后在后续节点中重复这一操作。 然后，您可以使用您的决策树对新数据进行预测。
<br><br> 
<h2>掌握 PySpark 中的逻辑回归和线性回归</h2> 
逻辑回归和线性回归是 PySpark 支持的必备机器学习技术。 你将学习构建和评估逻辑回归模型，随后再创建线性回归模型，帮助你优化预测变量，只保留最相关的选项。
<br><br> 
在课程结束时，借助贯穿整个课程的动手任务和实践数据集，你将能够自信地运用新学到的机器学习知识。

Supervised Learning with scikit-learn

Introduction to PySpark

使用Apache Spark，通过决策树、逻辑回归、线性回归、集成和管道从数据中进行预测。

使用 PySpark 进行机器学习

学习如何使用 Apache Spark 从数据中进行预测，涵盖决策树、逻辑回归、线性回归、集成方法和管道。

使用 PySpark 处理大数据

机器学习科学家 在 Python 中

Spark master 的位置

使用 PySpark 进行机器学习

动手互动练习