Kuasai pipeline ingestion data Snowflake — mulai dari staging file melalui COPY INTO, Snowpipe, dan Snowpipe Streaming — serta hubungkan Snowflake ke ekosistem data yang lebih luas melalui konektor, driver, dan alat ekspor.

Stage, Format File, dan COPY INTO

Mengklasifikasikan Jenis Stage

Penanganan Error pada COPY INTO

Snowpipe dan Snowpipe Streaming

Memilih Mekanisme Ingest yang Tepat

Karakteristik Metode Ingesti

Pembongkaran Data dan Konektivitas

Melepaskan Data ke Cloud Storage

Mekanisme Konektivitas

Pemuatan Data, Ingestion, dan Konektivitas

Bangun data pipeline yang andal menggunakan orkestrasi native Snowflake — streams untuk penangkapan perubahan, tasks untuk penjadwalan, dynamic tables untuk transformasi deklaratif, serta external dan Iceberg tables untuk penyimpanan berformat terbuka.

Stream dan Change Data Capture

Mengkueri Stream

Memilih Jenis Stream yang Tepat

Tasks dan Orkestrasi DAG

Penjadwalan Task dan Dependensi

Tugas Berbasis Warehouse vs Tugas Serverless

Dynamic Tables

TARGET_LAG dan Penyegaran Dynamic Table

Memilih Mekanisme Orkestrasi Anda

Merancang Pipeline Ujung-ke-Ujung

External dan Iceberg Tables

Kapan Menggunakan External Table

Jenis Tabel berdasarkan Penyimpanan dan Mesin

Orkestrasi Pipeline dan Objek Data

Kueri JSON semi-terstruktur dengan dot notation dan FLATTEN, agregasikan data dengan GROUPING SETS, ROLLUP, dan CUBE, hitung fungsi jendela, dan bungkus logika yang dapat digunakan ulang dalam UDF dan stored procedure.

Kueri Data Semi-Terstruktur

Mengekstrak Field Bertingkat

Membuka Array JSON (Unnesting)

Fungsi Agregat Tingkat Menengah

Menulis Kueri ROLLUP

Memilih Ekstensi Pengelompokan yang Tepat

Fungsi Jendela

Peringkat Rekaman dengan ROW_NUMBER

RANK vs DENSE_RANK

Perubahan Periode ke Periode dengan LAG

Total berjalan dengan SUM

Fungsi Buatan Pengguna dan Prosedur Tersimpan

Membuat dan Memanggil SQL UDF

UDF vs Stored Procedure

Mengkueri dan Mentransformasi Data

Profilkan kueri di Snowsight, identifikasi hambatan dengan QUERY_HISTORY, terapkan Search Optimization, Query Acceleration Service, Automatic Clustering, dan Materialized Views, serta tulis SQL yang memanfaatkan tiga lapisan caching Snowflake.

Profil Kueri, Riwayat, dan Insight

Menavigasi Query Profile

Mengidentifikasi kueri dengan QUERY_HISTORY

Menyelidiki kueri lambat

Metode Optimisasi

Options

Search Optimization

Query Acceleration Service (QAS)

Automatic Clustering

Mencocokkan Alat Optimisasi dengan Pola Kueri

Memilih Antara Alat Optimasi

Metode Mana yang Paling Tepat

Cara Kerja Caching di Snowflake

Mengidentifikasi Lapisan Cache

Opsi

Memutus pemanfaatan ulang result cache

Mencegah partition pruning

Pola SQL: Cache vs Pruning

Selamat!

Kinerja dan Optimasi Kueri

Bangun data pipeline ujung ke ujung di Snowflake. Pelajari cara mengimpor data menggunakan COPY INTO, Snowpipe, dan Snowpipe Streaming, lalu otomatisasikan alur kerja dengan streams, tasks, dan dynamic tables. Anda juga akan mahir melakukan kueri data semi-terstruktur, menerapkan fungsi jendela, dan mengoptimalkan kinerja kueri menggunakan alat profil Snowflake dan lapisan caching.

Kuasai alat dan teknik untuk membangun pipeline data yang andal dan otomatis di Snowflake. Anda akan mulai dengan mempelajari cara mengingest data dalam skala besar — mengonfigurasi stage dan format file, memuat data dengan COPY INTO, serta memilih antara batch loading, Snowpipe, dan Snowpipe Streaming untuk berbagai kebutuhan latensi dan volume.
Dari sana, Anda akan membangun keterampilan orkestrasi pipeline end-to-end: menangkap perubahan tingkat baris dengan stream, merangkai alur kerja multi-langkah dengan DAG tugas, dan membuat pipeline deklaratif yang diperbarui otomatis dengan dynamic tables. Anda juga akan mempelajari kapan harus menggunakan tabel eksternal dan Iceberg untuk skenario multi-engine dan cloud-native.
Paruh kedua kursus ini mempertajam keterampilan kueri dan transformasi Anda — mengekstrak dan meng-unnest JSON semi-terstruktur dari kolom VARIANT, menerapkan ekstensi pengelompokan dan fungsi window untuk analitik lanjutan, serta mengenkapsulasi logika yang dapat digunakan kembali dalam UDF dan stored procedure.
Akhirnya, Anda akan menangani performa query: membaca Query Profile Snowflake untuk mengidentifikasi hambatan, memilih alat optimasi yang tepat — Search Optimization, Query Acceleration Service, clustering keys, atau materialized views — dan menulis SQL yang ramah cache yang menghindari anti-pola umum yang diam-diam menurunkan performa.

Muat, otomatisasi, dan optimalkan pipeline data di Snowflake dengan COPY INTO, Snowpipe, stream, dan tugas.

Otomatisasi Data Pipeline di Snowflake

Muat, otomatisasi, dan optimalkan pipeline data di Snowflake menggunakan COPY INTO, Snowpipe, streams, tasks, dynamic tables, dan alat performa kueri.

Selamat!

Create Your Free Account