对 PySpark 与分布式计算的总体介绍。本节将介绍 PySpark、PySpark DataFrame 与 RDD。

PySpark 入门

创建 SparkSession

加载人口普查数据

PySpark DataFrame 入门

可扩展性与性能

读取 CSV 并执行聚合

按公司筛选

推断并筛选

编写 Schema

Apache Spark 与 PySpark 入门

继续讲解 DataFrame 与复杂数据类型。本节将拓展 PySpark 中 DataFrame 的功能，并介绍部分 Spark SQL 概念。

使用 DataFrame 进行数据操作

用 fill 和 drop 处理缺失数据

列操作——创建与重命名列

高级 DataFrame 操作

DataFrame 组合

将航班与其目的地机场进行连接

自定义？就去使用！

UDF 的使用场景

PySpark UDF 中的整数

Pandas UDFs

Python 中的 PySpark

深入讲解如何利用 Spark SQL 与 PySpark 进行可扩展的数据处理，将 SQL 的简洁性与 PySpark 的分布式计算能力结合，高效处理大型数据集。

PySpark 中的弹性分布式数据集

创建 RDD

收集 RDD

Spark SQL 入门

查询临时视图

在 DataFrame 上运行 SQL

在 DataFrame 上使用 SQL 做分析

PySpark 聚合

在 PySpark 中做聚合

在 RDD 中做聚合

复杂聚合

大规模 PySpark

广播 (Broadcasting)

综合运用 I

综合练习 II

本章小结：您学到了什么？

PySpark SQL 入门

Course Glossary

Adults

Transportation

Salaries

本课程面向希望使用 PySpark 处理大型数据集的数据工程师、数据科学家和机器学习从业者。您将了解 Apache Spark 的高速与可扩展性，学习创建 Spark 会话、使用 RDD，并通过动手练习操作 DataFrame。课程还涵盖 PySpark SQL，教您如何用 SQL 查询数据、处理模式与复杂数据类型，并在分布式环境中优化性能。完成课程后，您将具备处理与分析大数据的基础能力，为机器学习与大数据分析等高级应用打下良好基础。

视频包含实时字幕，您可点击视频左下角的 "Show transcript" 展开查看。
课程术语表位于右侧的资源部分。
若要获得 CPE 学分，您需要完成课程并在合格测评中取得 70% 的得分。您可以点击右侧的 CPE 学分提示进入测评。

这门课程非常适合希望高效处理大型数据集的数据工程师、数据科学家和机器学习从业者。 无论你是从 Pandas 等工具转向，还是第一次接触大数据技术，这门课程都将为你提供 PySpark 和分布式数据处理的扎实入门。<br><br>
<h2>为什么选择 Spark？为什么是现在？</h2>
探索 Apache Spark 的速度与可扩展性，这一强大的框架专为处理大数据而设计。 通过互动课程和动手练习，你将了解 Spark 的内存处理如何让它比 Hadoop 等传统框架更具优势。 你将从设置 Spark 会话开始，并深入了解诸如弹性分布式数据集（RDD）和 DataFrame 等核心组件。 轻松学习如何筛选、分组和连接数据集，同时通过真实案例进行实践。<br><br>
<h2>提升你的 Python 和 SQL 技能，驾驭大数据</h2>
学习如何利用 PySpark SQL，使用熟悉的 SQL 语法来查询和管理数据。 处理 schema、复杂数据类型和用户定义函数（UDF），同时培养缓存和优化分布式系统性能的能力。<br><br>
<h2>构建您的大数据基础</h2>
在本课程结束时，您将有信心使用 PySpark 处理、查询和处理大数据。 掌握这些基础技能后，你就可以开始探索机器学习和大数据分析等高级主题。

Introduction to SQL

Data Manipulation with pandas

掌握PySpark轻松处理大数据——学习处理、查询和优化海量数据集，实现强大分析！

精通 PySpark，轻松处理大数据——学习处理、查询和优化海量数据集，释放强大分析能力！

初级数据工程师 在 Databricks

使用 PySpark 处理大数据

机器学习科学家 在 Python 中

专业数据工程师 在 Python 中

DataFrame 组合

PySpark 入门

动手互动练习