Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams en Change Data Capture

Een stream bevragen

De juiste streamtype kiezen

Tasks en DAG-orkestratie

Taakplanning en afhankelijkheden

Opties

Taak op basis van warehouse

Serverless-taak

Warehouse-based vs. Serverless-taken

Dynamische tabellen

Dynamic Table TARGET_LAG en verversen

Streams + Tasks

Beide

De juiste orkestratiemechanismen kiezen

Een end-to-end-pijplijn ontwerpen

External en Iceberg-tabellen

Wanneer gebruik je externe tabellen

Native Snowflake-tabel

Externe tabel

Iceberg-tabel

Tabeltypen per opslag en engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Bouw end-to-end datapijplijnen in Snowflake.Bouw end-to-end datapijplijnen in Snowflake. Leer data inladen met COPY INTO, Snowpipe en Snowpipe Streaming, automatiseer vervolgens workflows met streams, tasks en dynamic tables. Je leert ook semi-gestructureerde data query’en, windowfuncties toepassen en queryprestaties optimaliseren met de profilteringstools en cachinglagen van Snowflake.

Beheers de tools en technieken voor het bouwen van betrouwbare, geautomatiseerde datapijplijnen in Snowflake. Je begint met het leren hoe je data op schaal kunt inladen — stages en bestandsindelingen configureren, data laden met COPY INTO, en kiezen tussen batchladen, Snowpipe en Snowpipe Streaming voor verschillende vereisten op het gebied van latency en volume.
Van daaruit ontwikkel je end-to-end pipeline-orchestratievaardigheden: rij-niveau wijzigingen vastleggen met streams, meerstapsworkflows koppelen met task DAG's en declaratieve, automatisch vernieuwde pipelines maken met dynamische tabellen. Je leert ook wanneer je externe en Iceberg-tabellen moet gebruiken voor multi-engine- en cloud-native scenario's.
De tweede helft van de cursus scherpt je query- en transformatieskills aan — semi-gestructureerde JSON uit VARIANT-kolommen extraheren en unnesten, grouping extensions en windowfuncties toepassen voor geavanceerde analyses, en herbruikbare logica encapsuleren in UDF’s en stored procedures.
Ten slotte pak je queryprestaties aan: je leert Snowflake's Query Profile lezen om knelpunten te pinpointen, het juiste optimalisatietool te kiezen — Search Optimization, Query Acceleration Service, clustering keys of materialized views — en cachevriendelijke SQL te schrijven die de veelvoorkomende anti-patronen vermijdt die de prestaties stilletjes verslechteren.

Laad, automatiseer en optimaliseer gegevenspijplijnen in Snowflake met COPY INTO, Snowpipe, streams en taken.

Automatisering van datapijplijnen in Snowflake

Laad, automatiseer en optimaliseer datapijplijnen in Snowflake met COPY INTO, Snowpipe, streams, tasks, dynamische tabellen en queryprestatiehulpmiddelen.

Essentials for Snowflake SnowPro® Core Certification

Data opgeslagen in door Snowflake beheerde micro-partitions met volledige partition pruning

Volledige lees- en schrijftoegang via SQL; Snowflake beheert compressie en clustering

Data blijft in cloudobjectopslag; Snowflake leest bestanden tijdens query-uitvoering

Queryperformance hangt af van partitiekolommen die zijn afgeleid van de bestands padstructuur

Opgeslagen als Parquet-bestanden met een metadatalayer; zonder conversie leesbaar door Spark, Flink en Trino

Data zit niet vast aan één enkele query-engine

Tabeltypen per opslag en engine

Automatisering van datapijplijnen in Snowflake

Praktische interactieve oefening