Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, bestandsindelingen en COPY INTO

Opties

User Stage (@~)

Table Stage (%table_name)

Named Stage (@stage_name)

Stagetypen classificeren

Foutafhandeling met COPY INTO

Snowpipe en Snowpipe Streaming

De juiste ingestiemethode kiezen

COPY INTO

Snowpipe

Snowpipe Streaming

Kenmerken van laadmethoden

Data exporteren en connectiviteit

Data uitladen naar cloudopslag

Ingestie

Transformatie

BI / Rapportage

Connectiviteitsmechanismen

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Bouw end-to-end datapijplijnen in Snowflake.Bouw end-to-end datapijplijnen in Snowflake. Leer data inladen met COPY INTO, Snowpipe en Snowpipe Streaming, automatiseer vervolgens workflows met streams, tasks en dynamic tables. Je leert ook semi-gestructureerde data query’en, windowfuncties toepassen en queryprestaties optimaliseren met de profilteringstools en cachinglagen van Snowflake.

Beheers de tools en technieken voor het bouwen van betrouwbare, geautomatiseerde datapijplijnen in Snowflake. Je begint met het leren hoe je data op schaal kunt inladen — stages en bestandsindelingen configureren, data laden met COPY INTO, en kiezen tussen batchladen, Snowpipe en Snowpipe Streaming voor verschillende vereisten op het gebied van latency en volume.
Van daaruit ontwikkel je end-to-end pipeline-orchestratievaardigheden: rij-niveau wijzigingen vastleggen met streams, meerstapsworkflows koppelen met task DAG's en declaratieve, automatisch vernieuwde pipelines maken met dynamische tabellen. Je leert ook wanneer je externe en Iceberg-tabellen moet gebruiken voor multi-engine- en cloud-native scenario's.
De tweede helft van de cursus scherpt je query- en transformatieskills aan — semi-gestructureerde JSON uit VARIANT-kolommen extraheren en unnesten, grouping extensions en windowfuncties toepassen voor geavanceerde analyses, en herbruikbare logica encapsuleren in UDF’s en stored procedures.
Ten slotte pak je queryprestaties aan: je leert Snowflake's Query Profile lezen om knelpunten te pinpointen, het juiste optimalisatietool te kiezen — Search Optimization, Query Acceleration Service, clustering keys of materialized views — en cachevriendelijke SQL te schrijven die de veelvoorkomende anti-patronen vermijdt die de prestaties stilletjes verslechteren.

Laad, automatiseer en optimaliseer gegevenspijplijnen in Snowflake met COPY INTO, Snowpipe, streams en taken.

Automatisering van datapijplijnen in Snowflake

Laad, automatiseer en optimaliseer datapijplijnen in Snowflake met COPY INTO, Snowpipe, streams, tasks, dynamische tabellen en queryprestatiehulpmiddelen.

Essentials for Snowflake SnowPro® Core Certification

Ideaal voor nachtelijke batchloads waarbij enkele uren vertraging acceptabel zijn

Uitgevoerd op aanvraag of getriggerd door een externe scheduler

Automatisch getriggerd wanneer een nieuw bestand in een cloudopslagbucket verschijnt

Laadt gegevens binnen enkele minuten nadat bestanden in een stage zijn aangekomen

Accepteert rijen rechtstreeks vanuit een applicatie zonder eerst bestanden te stagen

Vertraging gemeten in seconden in plaats van minuten

Kenmerken van laadmethoden

Automatisering van datapijplijnen in Snowflake

Praktische interactieve oefening