Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, formatos de arquivo e COPY INTO

Opções

User Stage (@~)

Table Stage (%table_name)

Named Stage (@stage_name)

Classificando tipos de Stage

Tratamento de erros no COPY INTO

Snowpipe e Snowpipe Streaming

Escolhendo o mecanismo de ingestão certo

COPY INTO

Snowpipe

Snowpipe Streaming

Características dos Métodos de Ingestão

Exportação de dados e conectividade

Descarregando dados para o armazenamento em nuvem

Ingestão

Transformação

BI / Relatórios

Mecanismos de Conectividade

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Construa pipelines de dados ponta a ponta no Snowflake. Construa pipelines de dados ponta a ponta no Snowflake. Aprenda a ingerir dados usando COPY INTO, Snowpipe e Snowpipe Streaming, depois automatize fluxos de trabalho com streams, tasks e dynamic tables. Você também vai dominar consultas a dados semiestruturados, aplicar window functions e otimizar o desempenho de consultas usando as ferramentas de perfil do Snowflake e camadas de cache.

Domine as ferramentas e técnicas para criar pipelines de dados confiáveis e automatizados no Snowflake. Você começará aprendendo como ingerir dados em escala — configurando stages e formatos de arquivo, carregando dados com COPY INTO e escolhendo entre carregamento em lote, Snowpipe e Snowpipe Streaming para diferentes requisitos de latência e volume.
A partir daí, você desenvolverá habilidades de orquestração de pipelines de ponta a ponta: capturando alterações no nível de linha com streams, encadeando fluxos de trabalho de várias etapas com DAGs de tarefas e criando pipelines declarativos com atualização automática usando tabelas dinâmicas. Você também aprenderá quando recorrer a tabelas externas e Iceberg para cenários multi-engine e cloud-native.
A segunda metade do curso aprimora suas habilidades de consulta e transformação — extraindo e desaninhando JSON semiestruturado de colunas VARIANT, aplicando extensões de agrupamento e funções de janela para análises avançadas e encapsulando lógica reutilizável em UDFs e procedimentos armazenados.
Por fim, você vai enfrentar o desempenho de consultas: ler o Query Profile do Snowflake para identificar gargalos, escolher a ferramenta de otimização certa — Search Optimization, Query Acceleration Service, chaves de clustering ou views materializadas — e escrever SQL amigável ao cache que evita os anti-patterns comuns que degradam o desempenho silenciosamente.

Carregue, automatize e otimize pipelines de dados no Snowflake com COPY INTO, Snowpipe, streams e tasks.

Automação de Pipelines de Dados no Snowflake

Essentials for Snowflake SnowPro® Core Certification

Technical Curriculum Developer, Snowflake

Snowflake impulsiona muitos workloads

Pipeline de exemplo

Conheça a Harbr

O problema do carregamento de dados

Tipos de stage

Parâmetros de stage

Formatos de arquivo

Tratamento de erros

Modo de validação e COPY_HISTORY

Vamos praticar!

Data Loading, Ingestion, and Connectivity - Stages, formatos de arquivo e COPY INTO

Stages, formatos de arquivo e COPY INTO

Create Your Free Account