Inicio
Cursos
Introducción a las canalizaciones de datos

Ejecutar una canalización de datos en producción

Este ejercicio forma parte del curso

Introducción a las canalizaciones de datos

IntermedioNivel de habilidad

4.8+

Prepárate para descubrir cómo se recopilan, procesan y mueven los datos mediante canalizaciones de datos. Explorarás las cualidades de los mejores conductos de datos, y te prepararás para diseñar y construir el tuyo propio.

Exercise 1: Introducción a las canalizaciones de datos Exercise 2: Running an ETL Pipeline Exercise 3: ELT in Action Exercise 4: ETL and ELT Pipelines Exercise 5: Diseñar canalizaciones de datos Exercise 6: Building an ETL Pipeline Exercise 7: The "T" in ELT Exercise 8: Extracting, Transforming, and Loading Student Scores Data

Sumérgete en el aprovechamiento de pandas para extraer, transformar y cargar datos mientras construyes tus primeras canalizaciones de datos. Aprende a hacer que tu lógica ETL sea reutilizable, y aplica el registro y la gestión de excepciones a tus canalizaciones.

Exercise 1: Extraer datos de fuentes de estructuras Exercise 2: Extraer datos de archivos parquet Exercise 3: Obtención de datos de las bases de datos SQL Exercise 4: Construir funciones para extraer datos Exercise 5: Transformar datos con pandas Exercise 6: Filtrar DataFrames de pandas Exercise 7: Transformar datos de ventas con pandas Exercise 8: Validar las transformaciones de datos Exercise 9: Persistencia de datos con pandas Exercise 10: Carga de datos de ventas en un archivo CSV Exercise 11: Personalizar un archivo CSV Exercise 12: Persistencia de datos en ficheros Exercise 13: Supervisar una canalización de datos Exercise 14: Registro en un canal de datos Exercise 15: Tratamiento de excepciones al cargar datos Exercise 16: Supervisión y alerta dentro de un canal de datos

Potencia tu flujo de trabajo con técnicas avanzadas de canalización de datos, como el trabajo con datos no tabulares y la persistencia de DataFrames en bases de datos SQL. Descubre herramientas para abordar transformaciones avanzadas con pandas, y descubre las mejores prácticas para trabajar con datos complejos.

Exercise 1: Extraer datos no tabulares Exercise 2: Ingesta de datos de JSON con pandas Exercise 3: Lectura de los datos de JSON en la memoria Exercise 4: Transformar datos no tabulares Exercise 5: Iterar sobre diccionarios Exercise 6: Análisis sintáctico de datos de diccionarios Exercise 7: Transformación de datos JSON Exercise 8: Transformar y limpiar DataFrames Exercise 9: Transformación avanzada de datos con pandas Exercise 10: Rellenar valores perdidos con pandas Exercise 11: Agrupar datos con pandas Exercise 12: Aplicar transformaciones avanzadas a los DataFrames Exercise 13: Carga de datos en una base de datos SQL con pandas Exercise 14: Cargar datos en una base de datos Postgres Exercise 15: Validar los datos cargados en una base de datos Postgres

En este último capítulo, crearás marcos para validar y probar las canalizaciones de datos antes de enviarlas a producción. Después de haber probado tu canalización, explorarás técnicas para ejecutar tu canalización de datos de extremo a extremo, todo ello permitiendo la visibilidad del rendimiento de la canalización.

Exercise 1: Probar manualmente una canalización de datos Exercise 2: Probar canalizaciones de datos Exercise 3: Validar un canal de datos en "puntos de control"Exercise 4: Probar una canalización de datos de principio a fin Exercise 5: Pruebas unitarias de una canalización de datos Exercise 6: Validar una canalización de datos con assert e isinstance Exercise 7: Escribir pruebas unitarias con pytest Exercise 8: Crear fixtures con pytest Exercise 9: Pruebas unitarias de una canalización de datos con fixtures Exercise 10: Ejecutar una canalización de datos en producción

Ejercicio actual

Exercise 11: Herramientas de orquestación y ETL Exercise 12: Patrones de arquitectura de canalización de datos Exercise 13: Ejecutar una canalización de datos de extremo a extremo Exercise 14: ¡Enhorabuena!