回顾 DataFrame 基础，以及数据清洗的重要性。

使用 Apache Spark 进行数据清洗入门

数据清洗回顾

定义 schema

不可变性与惰性处理

不可变性回顾

使用惰性处理

理解 Parquet

以 Parquet 格式保存 DataFrame

SQL 与 Parquet

DataFrame 细节

了解在 Spark 中修改 DataFrame 内容的多种技巧。

DataFrame 列操作

用 Python 过滤列内容

筛选问题 #1

筛选题目 #2

修改 DataFrame 列

对 DataFrame 列进行条件运算

when() 示例

When / Otherwise

用户自定义函数

理解用户自定义函数

在 Spark 中使用用户自定义函数

分区与惰性处理

添加 ID 字段

不同分区下的 ID

在真实场景中操作 DataFrame

通过提升性能或降低资源需求来改进数据清洗任务。

缓存

缓存 DataFrame

从缓存中移除 DataFrame

提升导入性能

文件大小优化

文件导入性能

集群配置

读取 Spark 配置

编写 Spark 配置

性能改进

常规连接

在 Spark 连接中使用广播

比较广播连接与普通连接

性能提升

学习如何使用 Spark 处理复杂的真实世界数据，并掌握流水线基础。

数据管道简介

快速管道

Pipeline 数据问题

数据处理技术

移除注释行

移除无效行

拆分为多列

进一步解析

数据验证

通过连接校验行

检查无效行

最终分析与交付

狗信息解析

每张图片计数

狗像素百分比

恭喜您！下一步

复杂处理与数据流水线

Flights - 2014

Dallas Council Voters

Dallas Council Votes

Flights - 2016

Flights - 2017

Flights - 2015

处理数据本就不易——面对上百万甚至上十亿行的数据更具挑战。
您是否接手过在笔记本电脑上、基于相对干净数据编写的数据处理代码？
很可能，您需要把一个基础的数据处理流程从原型推进到生产环境。
您也许已经处理过真实世界的数据集，里面有缺失字段、奇怪的格式，而且数据量大了几个数量级。即使这些对您而言都是新的，本课程也将帮助您学习如何使用 Python 与 Apache Spark 来准备数据处理流程。
您将学习相关术语、方法，以及部分最佳实践，从而构建高性能、可维护且易于理解的数据处理平台。

Intermediate Python

Introduction to PySpark

学习使用PySpark在Python中通过DataFrame和数据管道清理数据，并了解清洁数据对分析的重要性。

使用 PySpark 进行数据清洗

学会使用 Python 中的 Apache Spark 清洗数据。

使用 PySpark 处理大数据

理解用户自定义函数

使用 PySpark 进行数据清洗

动手互动练习