Master Snowflake's data ingestion pipeline — from staging files through COPY INTO, Snowpipe, and Snowpipe Streaming — and connect Snowflake to the broader data ecosystem through connectors, drivers, and export tools.

Stages, File Formats, and COPY INTO

Classifying Stage Types

COPY INTO Error Handling

Snowpipe and Snowpipe Streaming

Choosing the Right Ingestion Mechanism

Ingestion Method Characteristics

Data Unloading and Connectivity

Unloading Data to Cloud Storage

Connectivity Mechanisms

Data Loading, Ingestion, and Connectivity

Build robust data pipelines using Snowflake-native orchestration — streams for change capture, tasks for scheduling, dynamic tables for declarative transformation, and external and Iceberg tables for open-format storage.

Streams y captura de cambios (Change Data Capture)

Consultar un Stream

Elegir el tipo de stream adecuado

Tareas y orquestación de DAGs

Programación de tareas y dependencias

Opciones

Tarea basada en warehouse

Tarea serverless

Tareas basadas en warehouse vs. serverless

Tablas dinámicas

TARGET_LAG y actualización en tablas dinámicas

Streams + Tasks

Dynamic Tables

Cualquiera

Elegir tu mecanismo de orquestación

Diseñar un pipeline de extremo a extremo

Tablas externas e Iceberg

Cuándo usar External Tables

Tabla nativa de Snowflake

Tabla externa

Tabla Iceberg

Tipos de tablas por almacenamiento y motor

Pipeline Orchestration and Data Objects

Query semi-structured JSON with dot notation and FLATTEN, aggregate data with GROUPING SETS, ROLLUP, and CUBE, compute window functions, and encapsulate reusable logic in UDFs and stored procedures.

Semi-Structured Data Querying

Extracting Nested Fields

Unnesting JSON Arrays

Intermediate Aggregate Functions

Writing a ROLLUP Query

Choosing the Right Grouping Extension

Window Functions

Ranking Records with ROW_NUMBER

RANK vs DENSE_RANK

Period-over-Period Change with LAG

Running totals with SUM

User-Defined Functions and Stored Procedures

Creating and Calling a SQL UDF

UDF vs Stored Procedure

Querying and Transforming Data

Profile queries in Snowsight, identify bottlenecks with QUERY_HISTORY, apply Search Optimization, Query Acceleration Service, Automatic Clustering, and Materialized Views, and write SQL that benefits from Snowflake's three caching layers.

Query Profile,  History, and Insights

Navigating Query Profile

Identifying  queries with QUERY_HISTORY

Investigating slow queries

Optimization Methods

Matching Optimization Tools to Query Patterns

Choosing Between Optimization Tools

What Method Works Best

How Caching Works in Snowflake

Identifying the Caching Layer

SQL Patterns: Cache vs Pruning

Congratulations!

Query Performance and Optimization

18:05Claude responded: Crea canalizaciones de datos de extremo a extremo en Snowflake. Crea canalizaciones de datos de extremo a extremo en Snowflake. Aprende a ingerir datos con COPY INTO, Snowpipe y Snowpipe Streaming, y luego automatiza los flujos de trabajo con streams, tasks y dynamic tables. También dominarás las consultas sobre datos semiestructurados, el uso de funciones de ventana y la optimización del rendimiento de consultas con las herramientas de perfilado y las capas de caché de Snowflake.

Domina las herramientas y técnicas para crear canalizaciones de datos fiables y automatizadas en Snowflake. Empezarás aprendiendo a ingerir datos a gran escala: configurando etapas y formatos de archivo, cargando datos con COPY INTO y eligiendo entre carga por lotes, Snowpipe y Snowpipe Streaming para distintos requisitos de latencia y volumen.
A partir de ahí, desarrollarás habilidades de orquestación de canalizaciones de extremo a extremo: capturando cambios a nivel de fila con streams, encadenando flujos de trabajo de varios pasos con DAG de tareas y creando canalizaciones declarativas con actualización automática mediante tablas dinámicas. También aprenderás cuándo recurrir a tablas externas y Iceberg para escenarios multiengine y cloud-native.
La segunda mitad del curso afina tus habilidades de consulta y transformación: extraer y desanidar JSON semiestructurado de columnas VARIANT, aplicar extensiones de agrupación y funciones de ventana para analítica avanzada, y encapsular lógica reutilizable en UDF y procedimientos almacenados.
Por último, abordarás el rendimiento de las consultas: leer el Query Profile de Snowflake para identificar cuellos de botella, seleccionar la herramienta de optimización adecuada — Search Optimization, Query Acceleration Service, claves de clustering o vistas materializadas — y escribir SQL compatible con la caché que evite los anti-patrones habituales que degradan el rendimiento de forma silenciosa.

Carga, automatiza y optimiza datos en Snowflake con COPY INTO, Snowpipe, streams, tasks y tablas dinámicas.

Automatización de canalizaciones de datos en Snowflake

Essentials for Snowflake SnowPro® Core Certification

Datos almacenados en micro-particiones gestionadas por Snowflake con poda de particiones completa

Acceso de lectura y escritura completo vía SQL; Snowflake gestiona la compresión y el clustering

Los datos permanecen en el almacenamiento de objetos en la nube; Snowflake lee los archivos en tiempo de consulta

El rendimiento de las consultas depende de las columnas de partición derivadas de la estructura de la ruta del archivo

Almacenados como archivos Parquet con una capa de metadatos; legible por Spark, Flink y Trino sin conversión

Los datos no están bloqueados a un único motor de consulta

Tipos de tablas por almacenamiento y motor

Automatización de canalizaciones de datos en Snowflake

Ejercicio interactivo práctico