Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile, History e Insights

Esplorare il Query Profile

Identificare le query con QUERY_HISTORY

Indagare sulle query lente

Metodi di ottimizzazione

Options

Search Optimization

Query Acceleration Service (QAS)

Automatic Clustering

Abbina gli strumenti di ottimizzazione ai pattern di query

Scegliere tra gli strumenti di ottimizzazione

Qual è il metodo migliore

Come funziona la cache in Snowflake

Identificare il livello di cache

Opzioni

Interrompe il riuso della result cache

Impedisce il partition pruning

Pattern SQL: Cache vs Pruning

Congratulazioni!

Query Performance and Optimization

Crea pipeline dati end-to-end in Snowflake. Impara a ingerire dati con COPY INTO, Snowpipe e Snowpipe Streaming, quindi ad automatizzare i workflow con stream, task e dynamic table. Inoltre, imparerai a interrogare dati semi-strutturati, applicare funzioni finestra e ottimizzare le prestazioni delle query usando gli strumenti di profilazione e i livelli di cache di Snowflake.

Padroneggia gli strumenti e le tecniche per creare pipeline dati affidabili e automatizzate in Snowflake. Inizierai imparando come acquisire dati su larga scala — configurando stage e formati di file, caricando i dati con COPY INTO e scegliendo tra caricamento batch, Snowpipe e Snowpipe Streaming in base ai diversi requisiti di latenza e volume.
Da lì, svilupperai competenze di orchestrazione end-to-end delle pipeline: acquisendo le modifiche a livello di riga con gli stream, concatenando workflow multi-step con i DAG di task e creando pipeline dichiarative, con aggiornamento automatico, tramite tabelle dinamiche. Imparerai anche quando utilizzare tabelle esterne e tabella Iceberg per scenari multi-engine e cloud-native.
La seconda metà del corso affina le tue competenze di query e trasformazione — estraendo e annidando JSON semi-strutturato dalle colonne VARIANT, applicando estensioni di raggruppamento e funzioni finestra per analisi avanzate, e incapsulando logica riutilizzabile in UDF e stored procedure.
Infine, affronterai le prestazioni delle query: leggere il Query Profile di Snowflake per individuare i colli di bottiglia, scegliere lo strumento di ottimizzazione giusto — Search Optimization, Query Acceleration Service, chiavi di clustering o viste materializzate — e scrivere SQL compatibile con la cache che evita i comuni anti-pattern che degradano silenziosamente le prestazioni.

Carica, automatizza e ottimizza pipeline dati in Snowflake con COPY INTO, Snowpipe, stream e task.

Automazione delle pipeline dati in Snowflake

Essentials for Snowflake SnowPro® Core Certification

`SELECT region, SUM(credits_used), CURRENT_DATE() AS run_date FROM warehouse_usage GROUP BY region`

`WHERE YEAR(dispatch_date) = 2024 AND region = 'EMEA'`

`WHERE CAST(shipment_id AS VARCHAR) = 'SHP-0001'`

Pattern SQL: Cache vs Pruning

Automazione delle pipeline dati in Snowflake

Esercizio pratico interattivo