Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile, History e Insights

Navegando pelo Query Profile

Identificando consultas com QUERY_HISTORY

Investigando consultas lentas

Métodos de otimização

Opções

Search Optimization

Query Acceleration Service (QAS)

Automatic Clustering

Relacionando ferramentas de otimização a padrões de consulta

Escolhendo entre ferramentas de otimização

Qual método funciona melhor

Como o cache funciona no Snowflake

Identificando a camada de cache

Quebra a reutilização do cache de resultados

Impede a poda de partições

Padrões de SQL: Cache vs Poda

Parabéns!

Query Performance and Optimization

18:05Claude responded: Construa pipelines de dados ponta a ponta no Snowflake. Construa pipelines de dados ponta a ponta no Snowflake. Aprenda a ingerir dados usando COPY INTO, Snowpipe e Snowpipe Streaming, depois automatize fluxos de trabalho com streams, tasks e dynamic tables. Você também vai dominar consultas a dados semiestruturados, aplicar window functions e otimizar o desempenho de consultas usando as ferramentas de perfil do Snowflake e camadas de cache.

Domine as ferramentas e técnicas para criar pipelines de dados confiáveis e automatizados no Snowflake. Você começará aprendendo como ingerir dados em escala — configurando stages e formatos de arquivo, carregando dados com COPY INTO e escolhendo entre carregamento em lote, Snowpipe e Snowpipe Streaming para diferentes requisitos de latência e volume.
A partir daí, você desenvolverá habilidades de orquestração de pipelines de ponta a ponta: capturando alterações no nível de linha com streams, encadeando fluxos de trabalho de várias etapas com DAGs de tarefas e criando pipelines declarativos com atualização automática usando tabelas dinâmicas. Você também aprenderá quando recorrer a tabelas externas e Iceberg para cenários multi-engine e cloud-native.
A segunda metade do curso aprimora suas habilidades de consulta e transformação — extraindo e desaninhando JSON semiestruturado de colunas VARIANT, aplicando extensões de agrupamento e funções de janela para análises avançadas e encapsulando lógica reutilizável em UDFs e procedimentos armazenados.
Por fim, você vai enfrentar o desempenho de consultas: ler o Query Profile do Snowflake para identificar gargalos, escolher a ferramenta de otimização certa — Search Optimization, Query Acceleration Service, chaves de clustering ou views materializadas — e escrever SQL amigável ao cache que evita os anti-patterns comuns que degradam o desempenho silenciosamente.

Carregue, automatize e otimize pipelines de dados no Snowflake com COPY INTO, Snowpipe, streams e tasks.

Automação de Pipelines de Dados no Snowflake

Essentials for Snowflake SnowPro® Core Certification

`SELECT region, SUM(credits_used), CURRENT_DATE() AS run_date FROM warehouse_usage GROUP BY region`

`WHERE YEAR(dispatch_date) = 2024 AND region = 'EMEA'`

`WHERE CAST(shipment_id AS VARCHAR) = 'SHP-0001'`

Padrões de SQL: Cache vs Poda

Automação de Pipelines de Dados no Snowflake

Exercício interativo prático