Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-gestructureerde data opvragen

Geneste velden extraheren

JSON-arrays unnesten

Gemiddelde aggregatiefuncties

Een ROLLUP-query schrijven

De juiste grouping-extensie kiezen

Vensterfuncties

Records rangschikken met ROW_NUMBER

RANK vs DENSE_RANK

Period-over-period-verandering met LAG

Doorlopende totalen met SUM

User-Defined Functions en stored procedures

Een SQL UDF maken en aanroepen

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Bouw end-to-end datapijplijnen in Snowflake.Bouw end-to-end datapijplijnen in Snowflake. Leer data inladen met COPY INTO, Snowpipe en Snowpipe Streaming, automatiseer vervolgens workflows met streams, tasks en dynamic tables. Je leert ook semi-gestructureerde data query’en, windowfuncties toepassen en queryprestaties optimaliseren met de profilteringstools en cachinglagen van Snowflake.

Beheers de tools en technieken voor het bouwen van betrouwbare, geautomatiseerde datapijplijnen in Snowflake. Je begint met het leren hoe je data op schaal kunt inladen — stages en bestandsindelingen configureren, data laden met COPY INTO, en kiezen tussen batchladen, Snowpipe en Snowpipe Streaming voor verschillende vereisten op het gebied van latency en volume.
Van daaruit ontwikkel je end-to-end pipeline-orchestratievaardigheden: rij-niveau wijzigingen vastleggen met streams, meerstapsworkflows koppelen met task DAG's en declaratieve, automatisch vernieuwde pipelines maken met dynamische tabellen. Je leert ook wanneer je externe en Iceberg-tabellen moet gebruiken voor multi-engine- en cloud-native scenario's.
De tweede helft van de cursus scherpt je query- en transformatieskills aan — semi-gestructureerde JSON uit VARIANT-kolommen extraheren en unnesten, grouping extensions en windowfuncties toepassen voor geavanceerde analyses, en herbruikbare logica encapsuleren in UDF’s en stored procedures.
Ten slotte pak je queryprestaties aan: je leert Snowflake's Query Profile lezen om knelpunten te pinpointen, het juiste optimalisatietool te kiezen — Search Optimization, Query Acceleration Service, clustering keys of materialized views — en cachevriendelijke SQL te schrijven die de veelvoorkomende anti-patronen vermijdt die de prestaties stilletjes verslechteren.

Laad, automatiseer en optimaliseer gegevenspijplijnen in Snowflake met COPY INTO, Snowpipe, streams en taken.

Automatisering van datapijplijnen in Snowflake

Laad, automatiseer en optimaliseer datapijplijnen in Snowflake met COPY INTO, Snowpipe, streams, tasks, dynamische tabellen en queryprestatiehulpmiddelen.

Essentials for Snowflake SnowPro® Core Certification

De juiste grouping-extensie kiezen

Automatisering van datapijplijnen in Snowflake

Praktische interactieve oefening