本章节将带您进入精彩的大数据世界，介绍处理大数据的核心概念和不同框架。您将了解为何 Apache Spark 被认为是处理 BigData 的最佳框架。

什么是大数据？

大数据的 3 个 V

PySpark：基于 Python 的 Spark

理解 SparkContext

PySpark 的交互式使用

在 PySpark shell 中加载数据

回顾 Python 中的函数式编程

在 map() 中使用 lambda()

将 lambda() 与 filter() 搭配使用

使用 Spark 进行大数据分析入门

Spark 提供的主要抽象是弹性分布式数据集（RDD），这是该引擎的基础且核心的数据类型。本章节将介绍 RDD，并展示如何通过 RDD 的 Transformations 与 Actions 创建并执行 RDD。

使用 RDD 进行数据抽象

并行化集合创建 RDD

来自外部数据集的 RDD

数据中的分区

RDD 的基本转换与行动

Map 和 Collect

筛选与计数

PySpark 中的 Pair RDD

ReduceByKey 与 Collect

SortByKey 和 Collect

高级 RDD Actions

CountingBykeys

创建基础 RDD 并进行转换

移除停用词并缩减数据集

打印词频

在 PySpark 中编程：RDD

本章节将介绍 Spark SQL，它是用于结构化数据处理的 Spark 模块。它提供名为 DataFrame 的编程抽象，也可作为分布式 SQL 查询引擎使用。本章节将展示 Spark SQL 如何在 Python 中使用 DataFrame。

用 DataFrame 抽象数据

RDD 转 DataFrame

将 CSV 加载到 DataFrame

在 PySpark 中操作 DataFrame

在 PySpark DataFrame 中检查数据

PySpark DataFrame 子集与清洗

筛选您的 DataFrame

使用 PySpark SQL 与 DataFrame 交互

以编程方式运行 SQL 查询

用于筛选表的 SQL 查询

使用 DataFrames 在 PySpark 中进行数据可视化

PySpark DataFrame 可视化

第 1 部分：从 CSV 文件创建 DataFrame

第 2 部分：对 DataFrame 进行 SQL 查询

第 3 部分：数据可视化

PySpark SQL 与 DataFrame

PySpark MLlib 是 Apache Spark 在 Python 中的可扩展机器学习库，包含常用的学习算法与工具。在本最后一章中，您将学习重要的机器学习算法。您将构建电影推荐引擎和垃圾邮件过滤器，并使用 k-means 聚类。

PySpark MLlib 概览

PySpark ML 库

PySpark MLlib 算法

协同过滤

将 Movie Lens 数据集加载到 RDD

模型训练与预测

使用 MSE 评估模型

分类

加载垃圾邮件与非垃圾邮件数据

特征哈希与 LabelPoint

Logistic Regression 模型训练

聚类

加载并解析 5000 点数据

K-means 训练

可视化聚类

恭喜您！

使用 PySpark MLlib 进行机器学习

5000 points

Spam

FIFA 2018

Movie ratings

Complete Shakespeare

People

过去几年里，大数据备受关注，如今已在许多公司成为主流。那么，大数据到底是什么？本课程将通过 PySpark 讲解大数据的基础。Spark 是用于大数据的"超高速集群计算"框架，提供通用的数据处理引擎，让程序在内存中最高快 100 倍、在磁盘上快 10 倍，优于 Hadoop。您将使用 PySpark（用于 Spark 编程的 Python 包）及其功能强大、更高层的库，如 SparkSQL、MLlib（机器学习）等。您将探索威廉·莎士比亚的作品，分析 Fifa 2018 数据，并对基因组数据集进行聚类。完成本课程后，您将深入理解 PySpark 及其在通用大数据分析中的应用。

Introduction to Python

学习使用Python包PySpark进行大数据分析，并掌握SparkSQL和MLlib等高级库。

使用 PySpark 的大数据基础

学习使用 PySpark 处理大数据的基础知识。

使用 PySpark 处理大数据

PySpark ML 库

使用 PySpark 的大数据基础

动手互动练习