Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams e captura de dados de alteração

Consultando um Stream

Escolhendo o tipo certo de Stream

Tasks e orquestração de DAG

Agendamento de Tarefas e Dependências

Opções

Tarefa baseada em warehouse

Tarefa serverless

Tarefas baseadas em Warehouse vs. Serverless

Tabelas Dinâmicas

TARGET_LAG e atualização de Dynamic Table

Streams + Tasks

Dynamic Tables

Qualquer um dos dois

Escolhendo seu mecanismo de orquestração

Projetando um pipeline de ponta a ponta

Tabelas Externas e Iceberg

Quando usar External Tables

Tabela nativa do Snowflake

Tabela externa

Tabela Iceberg

Tipos de tabela por armazenamento e mecanismo

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Construa pipelines de dados ponta a ponta no Snowflake. Construa pipelines de dados ponta a ponta no Snowflake. Aprenda a ingerir dados usando COPY INTO, Snowpipe e Snowpipe Streaming, depois automatize fluxos de trabalho com streams, tasks e dynamic tables. Você também vai dominar consultas a dados semiestruturados, aplicar window functions e otimizar o desempenho de consultas usando as ferramentas de perfil do Snowflake e camadas de cache.

Domine as ferramentas e técnicas para criar pipelines de dados confiáveis e automatizados no Snowflake. Você começará aprendendo como ingerir dados em escala — configurando stages e formatos de arquivo, carregando dados com COPY INTO e escolhendo entre carregamento em lote, Snowpipe e Snowpipe Streaming para diferentes requisitos de latência e volume.
A partir daí, você desenvolverá habilidades de orquestração de pipelines de ponta a ponta: capturando alterações no nível de linha com streams, encadeando fluxos de trabalho de várias etapas com DAGs de tarefas e criando pipelines declarativos com atualização automática usando tabelas dinâmicas. Você também aprenderá quando recorrer a tabelas externas e Iceberg para cenários multi-engine e cloud-native.
A segunda metade do curso aprimora suas habilidades de consulta e transformação — extraindo e desaninhando JSON semiestruturado de colunas VARIANT, aplicando extensões de agrupamento e funções de janela para análises avançadas e encapsulando lógica reutilizável em UDFs e procedimentos armazenados.
Por fim, você vai enfrentar o desempenho de consultas: ler o Query Profile do Snowflake para identificar gargalos, escolher a ferramenta de otimização certa — Search Optimization, Query Acceleration Service, chaves de clustering ou views materializadas — e escrever SQL amigável ao cache que evita os anti-patterns comuns que degradam o desempenho silenciosamente.

Carregue, automatize e otimize pipelines de dados no Snowflake com COPY INTO, Snowpipe, streams e tasks.

Automação de Pipelines de Dados no Snowflake

Essentials for Snowflake SnowPro® Core Certification

Dados armazenados em micro-partições gerenciadas pelo Snowflake com poda completa de partições

Acesso completo de leitura e escrita via SQL; o Snowflake gerencia compactação e clustering

Os dados permanecem no armazenamento de objetos na nuvem; o Snowflake lê os arquivos no momento da consulta

O desempenho da consulta depende das colunas de partição derivadas da estrutura do caminho dos arquivos

Armazenada como arquivos Parquet com uma camada de metadados; legível por Spark, Flink e Trino sem conversão

Os dados não ficam presos a um único mecanismo de consulta

Tipos de tabela por armazenamento e mecanismo

Automação de Pipelines de Dados no Snowflake

Exercício interativo prático