了解数据如何通过数据管道被采集、处理和传输。您将探索优秀数据管道应具备的特性，并为设计与构建自己的管道做好准备。

ETL 与 ELT 流水线简介

运行一个 ETL 流水线

ELT 实战

ETL 与 ELT 管道

构建 ETL 和 ELT 流水线

构建一个 ETL 管道

ELT 中的 "T"

抽取、转换与加载学生成绩数据

数据管道简介

深入使用 pandas 来提取、转换和加载数据，并构建您的首个数据管道。学习如何让 ETL 逻辑可复用，并在管道中应用日志记录与异常处理。

从结构化来源提取数据

从 parquet 文件抽取数据

从 SQL 数据库提取数据

构建用于抽取数据的函数

使用 pandas 进行数据转换

筛选 pandas DataFrame

用 pandas 转换销售数据

验证数据转换

使用 pandas 持久化数据

将销售数据加载到 CSV 文件

自定义 CSV 文件

将数据持久化到文件

监控数据管道

在数据管道中记录日志

在加载数据时处理异常

在数据管道中进行监控与告警

构建 ETL 管道

通过高级数据管道技术提升您的工作流程，例如处理非表格数据、将 DataFrame 持久化到 SQL 数据库。了解可用于在 pandas 中执行高级转换的工具，并掌握处理复杂数据的最佳实践。

提取非表格数据

使用 pandas 导入 JSON 数据

将 JSON 数据读入内存

转换非表格数据

遍历字典

从字典中解析数据

转换 JSON 数据

转换与清洗 DataFrame

使用 pandas 进行高级数据转换

使用 pandas 填充缺失值

使用 pandas 分组数据

对 DataFrame 应用高级转换

使用 pandas 将数据加载到 SQL 数据库

将数据加载到 Postgres 数据库

验证加载到 Postgres 数据库的数据

ETL 高级技术

在最后一章中，您将创建框架，在将数据管道投入生产前进行校验与测试。完成测试后，您将探索端到端运行数据管道的技术，同时确保对管道性能的可观测性。

手动测试数据管道

测试数据管道

在"检查点"验证数据管道

端到端测试数据管道

对数据管道进行单元测试

使用 assert 验证数据管道

使用 pytest 编写单元测试

使用 pytest 创建 fixture

使用 fixtures 对数据管道进行单元测试

在生产环境中运行数据管道

编排与 ETL 工具

数据管道架构模式

端到端运行数据流水线

恭喜您！

数据管道的部署与维护

amazon_sales_cleaned_sql.csv

schools_modified.csv

Course Glossary

tax_rate_cleaned.csv

scores.csv

数据管道是强大数据平台的基石。构建这些管道是数据工程师的核心技能，能够为准备迈向数据驱动未来的企业创造巨大价值。本入门课程将帮助您提升构建高效、性能优良且可靠的数据管道的能力。

视频支持实时字幕，您可以点击视频左下角的 "Show transcript" 展开查看。
课程术语表位于右侧的资源区域。
若要获得 CPE 学分，您需要完成本课程并在合格测评中取得 70% 的成绩。您可以点击右侧的 CPE 学分提示进入测评。

<p><h2>通过数据管道赋能分析</h2>
数据管道是每个强大数据平台的基础。 构建这些管道是数据工程师的一项核心技能，他们为准备迈向数据驱动未来的企业提供了巨大的价值。 这门入门课程将帮助你磨练构建高效、性能优异且可靠的数据管道所需的技能。</p>

<p><h2>构建和维护 ETL 解决方案</h2>
在本课程中，您将深入了解构建数据管道的完整流程。 您将提升技能，利用 Python 库，如 <code>pandas</code> 和 <code>json</code>，从结构化和非结构化来源中提取数据，然后再将其转换并持久化，以供后续使用。 在此过程中，你将掌握架构图、单元测试和监控等实用工具与技术，这些都将帮助你的数据管道脱颖而出。 随着学习的深入，你将通过动手练习来检验新掌握的技能。</p>

<p><h2>为数据工作流加速赋能</h2>
完成本课程后，你将能够设计、开发并使用数据管道，在工作、新职业或个人项目中大幅提升你的数据工作流程。</p>


Data Warehousing Concepts

Streamlined Data Ingestion with pandas

学习使用提取、转换和加载原则构建高效、性能优越且可靠的数据管道。

使用 Python 的 ETL 和 ELT

学习使用提取、转换和加载原则构建高效、性能优异且可靠的数据管道。

数据工程师 在 Python 中

机器学习工程师

编排与 ETL 工具

使用 Python 的 ETL 和 ELT

动手互动练习