全面掌握 Snowflake 的数据摄取管道——从通过 COPY INTO、Snowpipe 和 Snowpipe Streaming 进行文件暂存与加载——并通过连接器、驱动程序和导出工具将 Snowflake 接入更广泛的数据生态。

Stage、文件格式与 COPY INTO

选项

用户 Stage (@~)

表 Stage (%table_name)

命名 Stage (@stage_name)

Stage 类型归类

COPY INTO 的错误处理

Snowpipe 与 Snowpipe Streaming

选择合适的摄取机制

COPY INTO

Snowpipe

Snowpipe Streaming

摄取方法特性

数据卸载与连接性

将数据卸载到云存储

Options

Ingestion

Transformation

BI / Reporting

连接机制

数据加载、摄取与连接性

使用 Snowflake 原生编排构建健壮的数据管道——通过 streams 捕获变更、用 tasks 进行调度、用 dynamic tables 进行声明式转换，并使用 external 与 Iceberg tables 存储开放格式数据。

Streams 与变更数据捕获（CDC）

查询 Stream

选择合适的 Stream 类型

Tasks 与 DAG 编排

任务调度与依赖关系

基于仓库任务 vs 无服务器任务

动态表

Dynamic Table 的 TARGET_LAG 与刷新

选择合适的编排机制

设计端到端管道

External 与 Iceberg 表

何时使用 External tables

按存储与引擎分类的表类型

管道编排与数据对象

使用点号表示法和 FLATTEN 查询半结构化 JSON，借助 GROUPING SETS、ROLLUP 和 CUBE 聚合数据，计算窗口函数，并将可复用逻辑封装到 UDF 和存储过程。

半结构化数据查询

提取嵌套字段

展开 JSON 数组

聚合函数进阶

编写 ROLLUP 查询

选择合适的分组扩展

窗口函数

使用 ROW_NUMBER 对记录排名

RANK 与 DENSE_RANK 的对比

使用 LAG 计算环比变化

使用 SUM 计算累计总和

用户自定义函数与存储过程

创建并调用 SQL UDF

UDF 与存储过程

数据查询与转换

在 Snowsight 中分析查询，使用 QUERY_HISTORY 定位瓶颈，应用 Search Optimization、Query Acceleration Service、Automatic Clustering 和 Materialized Views，并编写可充分利用 Snowflake 三层缓存的 SQL。

Query Profile、History 与 Insights

浏览 Query Profile

使用 QUERY_HISTORY 识别查询

排查慢查询

优化方法

将优化工具匹配到查询模式

在优化工具之间做选择

最佳方法选择

Snowflake 中的缓存如何工作

识别缓存层

SQL 模式：缓存 vs 分区裁剪

恭喜您！

查询性能与优化

在 Snowflake 中构建端到端数据管道。学习使用 COPY INTO、Snowpipe 和 Snowpipe Streaming 摄取数据，然后通过 streams、tasks 和 dynamic tables 实现工作流自动化。您还将掌握查询半结构化数据、应用窗口函数，并利用 Snowflake 的分析工具和缓存层优化查询性能。

掌握在 Snowflake 中构建可靠、自动化数据管道的工具和技术。 您将首先学习如何大规模摄取数据——配置阶段和文件格式，使用 COPY INTO 加载数据，并根据不同的延迟和数据量需求，在批量加载、Snowpipe 和 Snowpipe Streaming 之间进行选择。
从那里开始，您将培养端到端管道编排技能：使用流捕获行级变更，借助任务 DAG 串联多步骤工作流，并通过动态表创建声明式、自动刷新的管道。 你还将学习在多引擎和云原生场景中何时使用外部表和 Iceberg 表。
课程的后半部分将提升你的查询和转换技能——从 VARIANT 列中提取并展开半结构化 JSON，应用分组扩展和窗口函数进行高级分析，并将可复用逻辑封装到 UDF 和存储过程里。
最后，你将深入处理查询性能：阅读 Snowflake 的 Query Profile 以精准定位瓶颈，选择合适的优化工具——Search Optimization、Query Acceleration Service、聚类键或物化视图——并编写有利于缓存的 SQL，避免那些会悄然拖慢性能的常见反模式。

使用COPY INTO、Snowpipe、流、任务、动态表和查询性能工具在Snowflake中加载、自动化和优化数据管道。

Snowflake 中的数据管道自动化

在 Snowflake 中使用 COPY INTO、Snowpipe、流、任务、动态表和查询性能工具加载、自动化并优化数据管道。

Stage、文件格式与 COPY INTO

Create Your Free Account