Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, formats de fichiers et COPY INTO

Options

Stage utilisateur (@~)

Stage de table (%table_name)

Stage nommé (@stage_name)

Classer les types de stages

Gestion des erreurs avec COPY INTO

Snowpipe et Snowpipe Streaming

Choisir le bon mécanisme d’ingestion

COPY INTO

Snowpipe

Snowpipe Streaming

Caractéristiques des méthodes d’ingestion

Export des données et connectivité

Décharger des données vers un stockage cloud

Ingestion

Transformation

BI / Reporting

Mécanismes de connectivité

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Build end-to-end data pipelines in Snowflake.Build end-to-end data pipelines in Snowflake. Learn to ingest data using COPY INTO, Snowpipe, and Snowpipe Streaming, then automate workflows with streams, tasks, and dynamic tables. You'll also master querying semi-structured data, applying window functions, and optimizing query performance using Snowflake's profiling tools and caching layers.

Maîtrisez les outils et les techniques pour créer des pipelines de données fiables et automatisés dans Snowflake. Vous commencerez par apprendre à ingérer des données à grande échelle — en configurant les stages et les formats de fichiers, en chargeant les données avec COPY INTO, et en choisissant entre le chargement par lots, Snowpipe et Snowpipe Streaming selon les exigences de latence et de volume.
À partir de là, vous développerez des compétences en orchestration de pipelines de bout en bout : capture des modifications au niveau des lignes avec des streams, enchaînement de workflows multi-étapes avec des DAG de tâches, et création de pipelines déclaratifs, actualisés automatiquement, avec des tables dynamiques. Vous apprendrez également quand utiliser des tables externes et Iceberg pour des scénarios multi-moteurs et cloud-native.
La seconde moitié du cours affine vos compétences en requête et en transformation — extraction et dénesting de JSON semi-structuré à partir de colonnes VARIANT, application d’extensions de regroupement et de fonctions de fenêtre pour des analyses avancées, et encapsulation de logique réutilisable dans des UDF et des procédures stockées.
Enfin, vous aborderez les performances des requêtes : lire le profil de requête de Snowflake pour identifier les goulots d’étranglement, choisir le bon outil d’optimisation — Search Optimization, Query Acceleration Service, clés de clustering ou vues matérialisées — et écrire du SQL compatible avec le cache qui évite les anti-patterns courants qui dégradent silencieusement les performances.

Chargez, automatisez et optimisez les pipelines de données dans Snowflake avec COPY INTO, Snowpipe, et plus.

Automatisation des pipelines de données dans Snowflake

Essentials for Snowflake SnowPro® Core Certification

Technical Curriculum Developer, Snowflake

Snowflake alimente de nombreux workloads

Pipeline d’exemple

Voici Harbr

Le problème du chargement des données

Types de stages

Paramètres des stages

Formats de fichiers

Gestion des erreurs

Mode de validation et COPY_HISTORY

Passons à la pratique !

Data Loading, Ingestion, and Connectivity - Stages, formats de fichiers et COPY INTO

Stages, formats de fichiers et COPY INTO

Create Your Free Account