Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Queryprofiel, -geschiedenis en inzichten

Navigeren in Query Profile

Queries identificeren met QUERY_HISTORY

Langzame queries onderzoeken

Optimalisatiemethoden

Opties

Search Optimization

Query Acceleration Service (QAS)

Automatic Clustering

Optimalisatietools koppelen aan querypatronen

Kiezen tussen optimalisatietools

Welke methode werkt het best

Hoe caching werkt in Snowflake

De cachinglaag identificeren

Verbreekt hergebruik van result cache

Voorkomt partition pruning

SQL-patronen: cache vs. pruning

Gefeliciteerd!

Query Performance and Optimization

18:05Claude responded: Bouw end-to-end datapijplijnen in Snowflake.Bouw end-to-end datapijplijnen in Snowflake. Leer data inladen met COPY INTO, Snowpipe en Snowpipe Streaming, automatiseer vervolgens workflows met streams, tasks en dynamic tables. Je leert ook semi-gestructureerde data query’en, windowfuncties toepassen en queryprestaties optimaliseren met de profilteringstools en cachinglagen van Snowflake.

Beheers de tools en technieken voor het bouwen van betrouwbare, geautomatiseerde datapijplijnen in Snowflake. Je begint met het leren hoe je data op schaal kunt inladen — stages en bestandsindelingen configureren, data laden met COPY INTO, en kiezen tussen batchladen, Snowpipe en Snowpipe Streaming voor verschillende vereisten op het gebied van latency en volume.
Van daaruit ontwikkel je end-to-end pipeline-orchestratievaardigheden: rij-niveau wijzigingen vastleggen met streams, meerstapsworkflows koppelen met task DAG's en declaratieve, automatisch vernieuwde pipelines maken met dynamische tabellen. Je leert ook wanneer je externe en Iceberg-tabellen moet gebruiken voor multi-engine- en cloud-native scenario's.
De tweede helft van de cursus scherpt je query- en transformatieskills aan — semi-gestructureerde JSON uit VARIANT-kolommen extraheren en unnesten, grouping extensions en windowfuncties toepassen voor geavanceerde analyses, en herbruikbare logica encapsuleren in UDF’s en stored procedures.
Ten slotte pak je queryprestaties aan: je leert Snowflake's Query Profile lezen om knelpunten te pinpointen, het juiste optimalisatietool te kiezen — Search Optimization, Query Acceleration Service, clustering keys of materialized views — en cachevriendelijke SQL te schrijven die de veelvoorkomende anti-patronen vermijdt die de prestaties stilletjes verslechteren.

Laad, automatiseer en optimaliseer gegevenspijplijnen in Snowflake met COPY INTO, Snowpipe, streams en taken.

Automatisering van datapijplijnen in Snowflake

Laad, automatiseer en optimaliseer datapijplijnen in Snowflake met COPY INTO, Snowpipe, streams, tasks, dynamische tabellen en queryprestatiehulpmiddelen.

Queryprofiel, -geschiedenis en inzichten

Create Your Free Account