本章将带您了解如何使用 Databricks 笔记本，将 CSV 数据加载到 Spark DataFrame 中，并用 PySpark 与 SQL 对数据进行整形。

使用 Databricks 笔记本

了解 Databricks Notebook

加载您的第一个数据集

查看 driver 日志

使用 PySpark 和 SQL 整形数据

使用 PySpark 整形数据

使用 SQL 分析数据

理解临时视图

加载与整形数据

学习如何定义显式架构，构建数据清洗管道，并通过广播连接优化查询性能。

数据清洗与质量检查

为何显式架构很重要

清洗 online retail 数据集

选择正确的质量指标

高效聚合与连接数据

连接并聚合零售数据

理解 shuffle 瓶颈

何时使用广播 join

数据清洗与优化

学习如何用窗口函数计算累计值与排名，构建流式管道，并部署生产级工作流。

窗口函数与流式查询

使用窗口函数为客户排名

将零售数据以流方式写入 Delta Lake

重启后继续运行

使用 Workflows 构建生产级流水线

写入并读取 Delta 表

构建多任务作业流水线

为什么切换到 Lakeflow？

课程总结

分析与生产流水线

transactions

country_lookup

online_retail

准备好在大规模场景中处理真实世界的数据了吗？本课程将带您在 Databricks 中使用 Spark SQL 和 PySpark 转换海量数据集。您将学习整理与清洗数据、使用优化的连接执行聚合，并应用窗口函数完成高级分析。您还会搭建基于文件的流处理，配置具备容错能力的检查点，并将结果持久化为 Delta 表。课程结束时，您将能够使用 Databricks Workflows 和 Lakeflow Declarative Pipelines 编排多步骤的生产级管道。


Introduction to Databricks SQL

Introduction to PySpark

构建端到端数据管道：从清洗、聚合到流处理和编排。

在 Databricks 中使用 Spark SQL 进行数据转换

构建端到端数据管道——从清洗和聚合到流处理和编排。


初级数据工程师 在 Databricks

Lead Data Engineer

当 groupBy 不够用时

滚动合计

客户排名

什么是流处理？

基于文件的流处理

读取流

什么是检查点？

写出流

监控：status 与 lastProgress

检查点恢复

让我们一起练习吧！

分析与生产流水线 - 窗口函数与流式查询

窗口函数与流式查询

Create Your Free Account