Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Stream dan Change Data Capture

Mengkueri Stream

Memilih Jenis Stream yang Tepat

Tasks dan Orkestrasi DAG

Penjadwalan Task dan Dependensi

Opsi

Tugas berbasis warehouse

Tugas serverless

Tugas Berbasis Warehouse vs Tugas Serverless

Dynamic Tables

TARGET_LAG dan Penyegaran Dynamic Table

Options

Streams + Tasks

Either

Memilih Mekanisme Orkestrasi Anda

Merancang Pipeline Ujung-ke-Ujung

External dan Iceberg Tables

Kapan Menggunakan External Table

Tabel Snowflake Native

Tabel Eksternal

Tabel Iceberg

Jenis Tabel berdasarkan Penyimpanan dan Mesin

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

Bangun pipeline data ujung ke ujung di Snowflake. Pelajari cara mengimpor data menggunakan COPY INTO, Snowpipe, dan Snowpipe Streaming, lalu otomatisasikan alur kerja dengan streams, tasks, dan dynamic tables. Anda juga akan menguasai kueri data semi-terstruktur, menerapkan window functions, dan mengoptimalkan kinerja kueri menggunakan alat pemprofilan serta lapisan cache Snowflake.

Kuasai alat dan teknik untuk membangun pipeline data yang andal dan otomatis di Snowflake. Anda akan mulai dengan mempelajari cara mengingest data dalam skala besar — mengonfigurasi stage dan format file, memuat data dengan COPY INTO, serta memilih antara batch loading, Snowpipe, dan Snowpipe Streaming untuk berbagai kebutuhan latensi dan volume.
Dari sana, Anda akan membangun keterampilan orkestrasi pipeline end-to-end: menangkap perubahan tingkat baris dengan stream, merangkai alur kerja multi-langkah dengan DAG tugas, dan membuat pipeline deklaratif yang diperbarui otomatis dengan dynamic tables. Anda juga akan mempelajari kapan harus menggunakan tabel eksternal dan Iceberg untuk skenario multi-engine dan cloud-native.
Paruh kedua kursus ini mempertajam keterampilan kueri dan transformasi Anda — mengekstrak dan meng-unnest JSON semi-terstruktur dari kolom VARIANT, menerapkan ekstensi pengelompokan dan fungsi window untuk analitik lanjutan, serta mengenkapsulasi logika yang dapat digunakan kembali dalam UDF dan stored procedure.
Akhirnya, Anda akan menangani performa query: membaca Query Profile Snowflake untuk mengidentifikasi hambatan, memilih alat optimasi yang tepat — Search Optimization, Query Acceleration Service, clustering keys, atau materialized views — dan menulis SQL yang ramah cache yang menghindari anti-pola umum yang diam-diam menurunkan performa.

Muat, otomatisasi, dan optimalkan pipeline data di Snowflake dengan COPY INTO, Snowpipe, stream, dan tugas.

Otomatisasi Pipeline Data di Snowflake

Muat, otomatisasi, dan optimalkan pipeline data di Snowflake menggunakan COPY INTO, Snowpipe, streams, tasks, dynamic tables, dan alat performa kueri.

Essentials for Snowflake SnowPro® Core Certification

Data disimpan dalam micro-partitions yang dikelola Snowflake dengan pemangkasan partisi penuh

Akses baca-tulis penuh melalui SQL; Snowflake mengelola kompresi dan pengelompokan

Data tetap berada di penyimpanan objek cloud; Snowflake membaca file saat waktu kueri

Kinerja kueri bergantung pada kolom partisi yang diturunkan dari struktur path file

Disimpan sebagai file Parquet dengan lapisan metadata; dapat dibaca oleh Spark, Flink, dan Trino tanpa konversi

Data tidak terkunci pada satu mesin kueri saja

Jenis Tabel berdasarkan Penyimpanan dan Mesin

Otomatisasi Pipeline Data di Snowflake

Latihan interaktif praktis