Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, Dateiformate und COPY INTO

Optionen

User-Stage (@~)

Table-Stage (%table_name)

Benannte Stage (@stage_name)

Stage-Typen zuordnen

Fehlerbehandlung bei COPY INTO

Snowpipe und Snowpipe Streaming

Die richtige Ingestion-Methode wählen

COPY INTO

Snowpipe

Snowpipe Streaming

Merkmale von Ingestion-Methoden

Datenentladung und Konnektivität

Daten in Cloud-Speicher entladen

Ingestion

Transformation

BI / Reporting

Konnektivitätsmechanismen

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams and Change Data Capture

Querying a Stream

Choosing the Right Stream Type

Tasks and DAG Orchestration

Task Scheduling and Dependencies

Warehouse-Based vs Serverless Tasks

Dynamic Tables

Dynamic Table TARGET_LAG and Refresh

Choosing Your Orchestration Mechanism

Designing an End-to-End Pipeline

External and Iceberg Tables

When to Use External Tables

Table Types by Storage and Engine

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Erstelle End-to-End-Datenpipelines in Snowflake. Erstelle End-to-End-Datenpipelines in Snowflake. Lerne, Daten mit COPY INTO, Snowpipe und Snowpipe Streaming zu laden, und automatisiere Workflows mit Streams, Tasks und Dynamic Tables. Außerdem lernst du, halbstrukturierte Daten abzufragen, Window-Funktionen anzuwenden und die Abfrageleistung mit den Profiling-Tools und Caching-Ebenen von Snowflake zu optimieren.

Beherrschen Sie die Tools und Techniken zum Aufbau zuverlässiger, automatisierter Daten-Pipelines in Snowflake. Du lernst zunächst, wie du Daten in großem Umfang aufnimmst — indem du Stages und Dateiformate konfigurierst, Daten mit COPY INTO lädst und je nach Latenz- und Volumenanforderungen zwischen Batch-Loading, Snowpipe und Snowpipe Streaming wählst.
Von dort aus baust du End-to-End-Fähigkeiten in der Pipeline-Orchestrierung auf: Zeilenänderungen mit Streams erfassen, mehrstufige Workflows mit Task-DAGs verketten und deklarative, automatisch aktualisierte Pipelines mit dynamischen Tabellen erstellen. Außerdem lernst du, wann du für Multi-Engine- und Cloud-native-Szenarien auf externe und Iceberg-Tabellen zurückgreifen solltest.
Die zweite Hälfte des Kurses schärft Ihre Abfrage- und Transformationsfähigkeiten — indem Sie halbstrukturierte JSON-Daten aus VARIANT-Spalten extrahieren und entnesten, Gruppierungserweiterungen und Window-Funktionen für fortgeschrittene Analysen anwenden und wiederverwendbare Logik in UDFs und gespeicherten Prozeduren kapseln.
Schließlich befassen Sie sich mit der Abfrageleistung: Sie lesen das Query Profile von Snowflake, um Engpässe zu identifizieren, wählen das richtige Optimierungstool – Search Optimization, Query Acceleration Service, Clustering-Keys oder materialisierte Views – und schreiben cachefreundliches SQL, das die häufigen Anti-Patterns vermeidet, die die Leistung unbemerkt verschlechtern.

Laden, automatisieren und optimieren Sie Datenpipelines in Snowflake mit COPY INTO, Snowpipe und Streams.

Automatisierung von Datenpipelines in Snowflake

Datenpipelines in Snowflake mit COPY INTO, Snowpipe, Streams, Tasks, dynamischen Tabellen und Tools zur Abfrageleistung laden, automatisieren und optimieren.

Essentials for Snowflake SnowPro® Core Certification

Am besten für nächtliche Batch-Ladungen, bei denen einige Stunden Latenz akzeptabel sind

Wird bei Bedarf ausgeführt oder von einem externen Scheduler ausgelöst

Wird automatisch ausgelöst, wenn eine neue Datei in einem Cloud-Storage-Bucket landet

Lädt Daten innerhalb von Minuten, nachdem Dateien in einer Stage eingetroffen sind

Akzeptiert Zeilen direkt aus einer Anwendung, ohne Dateien vorher zu stagen

Latenz wird in Sekunden statt Minuten gemessen

Merkmale von Ingestion-Methoden

Automatisierung von Datenpipelines in Snowflake

Interaktive Übung