Zvládni pipeline pro příjem dat ve Snowflake – od souborů ve staging oblasti přes COPY INTO, Snowpipe až po Snowpipe Streaming – a propoj Snowflake s širším datovým ekosystémem pomocí konektorů, ovladačů a nástrojů pro export.

Stages, formáty souborů a COPY INTO

Možnosti

Uživatelský stage (@~)

Stage tabulky (%table_name)

Pojmenovaný stage (@stage_name)

Klasifikace typů stage

Ošetření chyb v COPY INTO

Snowpipe a Snowpipe Streaming

Výběr správného způsobu ingestion dat

COPY INTO

Snowpipe

Snowpipe Streaming

Vlastnosti metod ingestion

Exportování dat a konektivita

Export dat do cloudového úložiště

Ingestion

Transformace

BI / Reporting

Mechanismy konektivity

Načítání, příjem a připojení dat

Vytvárej robustní datové pipeline pomocí nativní orchestrace Snowflake – streamy pro zachytávání změn, úlohy pro plánování, dynamické tabulky pro deklarativní transformace a externí tabulky a tabulky Iceberg pro ukládání v otevřených formátech.

Streamy a Change Data Capture

Dotazování na stream

Výběr správného typu streamu

Tasky a orchestrace DAG

Plánování tasků a závislosti

Tasky na virtuálním skladu vs. serverless tasky

Dynamické tabulky

TARGET_LAG a refresh dynamické tabulky

Výběr orchestračního mechanismu

Návrh pipeline od začátku do konce

Externí a Iceberg tabulky

Kdy použít externí tabulky

Typy tabulek podle úložiště a dotazovacího modulu

Orchestrace pipeline a datové objekty

Dotazuj se na polostrukturovaná data JSON pomocí tečkové notace a FLATTEN, agreguj data pomocí GROUPING SETS, ROLLUP a CUBE, počítej okenní funkce a zapouzdřuj znovupoužitelnou logiku do UDF a uložených procedur.

Dotazování na polostrukturovaná data

Extrakce vnořených polí

Rozbalení JSON polí

Středně pokročilé agregační funkce

Sestavení dotazu s ROLLUP

Výběr správného rozšíření pro seskupování

Okenní funkce

Řazení záznamů pomocí ROW_NUMBER

RANK vs DENSE_RANK

Meziobodbová změna pomocí LAG

Průběžné součty pomocí SUM

Uživatelsky definované funkce a uložené procedury

Vytvoření a volání SQL UDF

UDF vs. uložená procedura

Dotazování a transformace dat

Profiluj dotazy v Snowsight, identifikuj úzká místa pomocí QUERY_HISTORY, využívej Search Optimization, Query Acceleration Service, Automatic Clustering a Materialized Views a piš SQL, které těží ze tří cachovacích vrstev Snowflake.

Query Profile, Historie a přehledy

Procházení Query Profile

Identifikace dotazů pomocí QUERY_HISTORY

Analýza pomalých dotazů

Metody optimalizace

Přiřazení optimalizačních nástrojů ke vzorům dotazů

Volba správného optimalizačního nástroje

Která metoda funguje nejlépe

Jak funguje caching ve Snowflake

Identifikace vrstvy cache

SQL vzory: cache vs. partition pruning

Gratulujeme!

Výkon a optimalizace dotazů

Vytvárej end-to-end datové pipeline ve Snowflake. Naučíš se načítat data pomocí COPY INTO, Snowpipe a Snowpipe Streaming, automatizovat pracovní toky pomocí streamů, úloh a dynamických tabulek. Zvládneš také dotazování na polostrukturovaná data, práci s okenními funkcemi a optimalizaci výkonu dotazů pomocí profilovacích nástrojů a cachovacích vrstev Snowflake.

Ovládněte nástroje a techniky pro vytváření spolehlivých automatizovaných datových pipeline ve Snowflake. Začnete tím, že se naučíte, jak ingestovat data ve velkém měřítku — jak konfigurovat stages a formáty souborů, jak načítat data pomocí COPY INTO a jak vybírat mezi batch loadingem, Snowpipe a Snowpipe Streaming podle různých požadavků na latenci a objem dat.
Odtud si vybudujete dovednosti v orchestraci end-to-end pipeline: zachycování změn na úrovni řádků pomocí streamů, řetězení vícekrokových workflow pomocí task DAGů a vytváření deklarativních, automaticky obnovovaných pipeline s dynamickými tabulkami. Naučíte se také, kdy sáhnout po externích a Iceberg tabulkách pro scénáře s více enginy a cloud-native prostředím.
Druhá polovina kurzu zdokonaluje vaše dovednosti v dotazování a transformaci — extrahování a rozbalování polostrukturovaného JSONu ze sloupců VARIANT, používání rozšíření pro seskupování a okenních funkcí pro pokročilou analytiku a zapouzdření znovupoužitelné logiky do UDF a uložených procedur.
Nakonec se pustíte do výkonu dotazů: naučíte se číst Query Profile ve Snowflake a přesně identifikovat úzká místa, vybrat správný optimalizační nástroj — Search Optimization, Query Acceleration Service, clustering keys nebo materialized views — a psát SQL přívětivé pro cache, které se vyhýbá běžným anti-patternům, jež nenápadně zhoršují výkon.

Načítejte, automatizujte a optimalizujte datové toky ve Snowflake pomocí COPY INTO, Snowpipe a dalších nástrojů.

Automatizace datových pipeline ve Snowflake

Načítej, automatizuj a optimalizuj datové pipeline ve Snowflake pomocí COPY INTO, Snowpipe, streams, tasks, dynamic tables a nástrojů pro výkon dotazů.

Essentials for Snowflake SnowPro® Core Certification

Ideální pro noční dávkové načítání, kde je přijatelná latence v řádu hodin

Spouští se na vyžádání nebo pomocí externího plánovače

Spustí se automaticky, jakmile nový soubor přistane v bucketu cloudového úložiště

Načte data do několika minut od příchodu souborů do stage

Přijímá řádky přímo z aplikace bez předchozího uložení do stage

Latence se měří v sekundách, ne v minutách

Vlastnosti metod ingestion

Automatizace datových pipeline ve Snowflake

Interaktivní praktické cvičení