En este capítulo aprenderás a trabajar con notebooks de Databricks, cargar datos CSV en DataFrames de Spark y dar forma a los datos usando PySpark y SQL.

Trabajar con notebooks de Databricks

Entender los notebooks de Databricks

Cargar tu primer conjunto de datos

Explorar los registros del driver

Transformar datos con PySpark y SQL

Dar forma a los datos con PySpark

Analizar datos con SQL

Entender las vistas temporales

Carga y modelado de datos

Aprende a definir esquemas explícitos, crear una canalización de limpieza de datos y optimizar el rendimiento de las consultas con broadcast joins.

Limpieza de datos y verificaciones de calidad

Por qué importan los esquemas explícitos

Limpieza del conjunto de datos de ventas online

Elegir la métrica de calidad adecuada

Agregar y unir datos de forma eficiente

Uniones y agregaciones con datos de retail

Entender el cuello de botella del shuffle

Cuándo usar un broadcast join

Limpieza de datos y optimización

Aprende a calcular totales acumulados y rankings con funciones de ventana, crear canalizaciones de streaming y desplegar flujos de trabajo de producción.

Funciones de ventana y consultas en streaming

Clasificar clientes con funciones de ventana

Transmisión de datos minoristas a Delta Lake

Reanudar tras un reinicio

Pipelines de producción con workflows

Escritura y lectura de una tabla Delta

Crear una canalización de trabajo con varias tareas

¿Por qué pasar a Lakeflow?

Para terminar

Analítica y canalizaciones de producción

online_retail

transactions

country_lookup

¿Listo para trabajar con datos reales a gran escala? En este curso aprenderás a transformar grandes conjuntos de datos con Spark SQL y PySpark en Databricks. Verás cómo dar forma y limpiar datos, ejecutar agregaciones con joins optimizados y aplicar funciones de ventana para analítica avanzada. También configurarás streaming basado en archivos con checkpoints tolerantes a fallos y persistirás resultados como tablas Delta. Al finalizar, orquestarás canalizaciones de producción de varios pasos con Databricks Workflows y Lakeflow Declarative Pipelines.


Introduction to Databricks SQL

Introduction to PySpark

Crea flujos de datos completos: desde limpieza y agregación hasta transmisión y orquestación.

Transformación de datos con Spark SQL en Databricks

Crea canalizaciones de datos de extremo a extremo: desde la limpieza y la agregación hasta el streaming y la orquestación.


Associate Data Engineer in Databricks

Entender el cuello de botella del shuffle

Transformación de datos con Spark SQL en Databricks

ejercicio interactivo práctico