Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams e captura de dados de alteração

Consultando um Stream

Escolhendo o tipo certo de Stream

Tasks e orquestração de DAG

Agendamento de Tarefas e Dependências

Opções

Tarefa baseada em warehouse

Tarefa serverless

Tarefas baseadas em Warehouse vs. Serverless

Tabelas Dinâmicas

TARGET_LAG e atualização de Dynamic Table

Streams + Tasks

Dynamic Tables

Qualquer um dos dois

Escolhendo seu mecanismo de orquestração

Projetando um pipeline de ponta a ponta

Tabelas Externas e Iceberg

Quando usar External Tables

Tabela nativa do Snowflake

Tabela externa

Tabela Iceberg

Tipos de tabela por armazenamento e mecanismo

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Construa pipelines de dados ponta a ponta no Snowflake. Construa pipelines de dados ponta a ponta no Snowflake. Aprenda a ingerir dados usando COPY INTO, Snowpipe e Snowpipe Streaming, depois automatize fluxos de trabalho com streams, tasks e dynamic tables. Você também vai dominar consultas a dados semiestruturados, aplicar window functions e otimizar o desempenho de consultas usando as ferramentas de perfil do Snowflake e camadas de cache.

Domine as ferramentas e técnicas para criar pipelines de dados confiáveis e automatizados no Snowflake. Você começará aprendendo como ingerir dados em escala — configurando stages e formatos de arquivo, carregando dados com COPY INTO e escolhendo entre carregamento em lote, Snowpipe e Snowpipe Streaming para diferentes requisitos de latência e volume.
A partir daí, você desenvolverá habilidades de orquestração de pipelines de ponta a ponta: capturando alterações no nível de linha com streams, encadeando fluxos de trabalho de várias etapas com DAGs de tarefas e criando pipelines declarativos com atualização automática usando tabelas dinâmicas. Você também aprenderá quando recorrer a tabelas externas e Iceberg para cenários multi-engine e cloud-native.
A segunda metade do curso aprimora suas habilidades de consulta e transformação — extraindo e desaninhando JSON semiestruturado de colunas VARIANT, aplicando extensões de agrupamento e funções de janela para análises avançadas e encapsulando lógica reutilizável em UDFs e procedimentos armazenados.
Por fim, você vai enfrentar o desempenho de consultas: ler o Query Profile do Snowflake para identificar gargalos, escolher a ferramenta de otimização certa — Search Optimization, Query Acceleration Service, chaves de clustering ou views materializadas — e escrever SQL amigável ao cache que evita os anti-patterns comuns que degradam o desempenho silenciosamente.

Carregue, automatize e otimize pipelines de dados no Snowflake com COPY INTO, Snowpipe, streams e tasks.

Automação de Pipelines de Dados no Snowflake

Essentials for Snowflake SnowPro® Core Certification

Requer um parâmetro WAREHOUSE = na instrução CREATE TASK

Cobrança mínima de 60 segundos por execução, independentemente do tempo real de execução

Mais adequada para tarefas grandes que compartilham compute com outras cargas de trabalho do warehouse

O Snowflake provisiona exatamente o compute que a tarefa precisa

Cobrança apenas pelos segundos de compute consumidos

A escolha padrão ideal para etapas de pipeline isoladas e agendadas regularmente

Tarefas baseadas em Warehouse vs. Serverless

Automação de Pipelines de Dados no Snowflake

Exercício interativo prático