En este capítulo, tendrás una introducción a conceptos básicos del procesamiento por lotes, centrada en la implementación, la escalabilidad y los posibles retos durante su uso.

Introducción al procesamiento por lotes

Características de los lotes

Orden de los lotes

Escalar el procesamiento por lotes

A escala

Opuestos en horizontal

Problemas en el procesamiento por lotes

Problemas de los lotes

Escenarios por lotes

Métodos para procesar datos

Aquí aprenderás los fundamentos del streaming, el procesamiento de datos basado en eventos y las ventajas frente al procesamiento tradicional por lotes.

Introducción a la computación basada en eventos

Afirmaciones

Verdadero

Falso

En caso de que...

Actions

Event

Not an event

¡Bienvenido al evento!

Colas

Características

Describe una cola

No describe una cola

Características de una cola

Scenario

Use a queue

Don't use a queue

Hacer cola o no hacer cola

Transmisión de datos en un único sistema

Registro de eventos de un único flujo

Orden del flujo de registros

Projects

Logging

Something else

Opciones de registro (logging)

Procesamiento por lotes vs. streaming

Escenarios

Batch

Cola

Stream

¿Batch, cola o stream?

Proceso de registro en streaming

Procesador de flujos de registros

Introducción al streaming

Este capítulo presenta los conceptos detrás de los sistemas de streaming modernos, cómo escalarlos y algunos de los problemas que surgen al utilizar procesos de streaming.

Introducción al streaming en tiempo real

¿Tiempo real?

¿Esta vez es en tiempo real?

Escalado vertical de sistemas de streaming

Motivos para escalar

Para escalar verticalmente...

Escalar sistemas de streaming horizontalmente

Escalado hacia fuera

Garantías de SLA

Obstáculos del streaming

Atributos del streaming

Tipos de incidencias

Desafíos del streaming

Sistemas de streaming

En este capítulo final, conocerás sistemas de streaming habituales y analizarás la implementación del procesamiento de datos en streaming en distintos casos de uso.

Sistemas de streaming populares

Verdades sobre streaming

Cruzando los flujos...

Caso de uso real: servicio de música en streaming

Componentes del mensaje

Respóndeme esto...

Caso de uso real: datos de sensores

Buen orden de los SLA

Consideraciones de escalado para sensores

Caso de uso real: clínica de vacunación

Clínica de vacunación: clasifica las áreas

Un nuevo problema...

¡Enhorabuena!

Casos de uso reales

El streaming es un aspecto clave del mundo de los datos hoy en día y lo utilizan casi todos los sectores, desde la fabricación hasta la sanidad. ¿Te gustaría conocer mejor los conceptos generales de las canalizaciones de datos y cómo funcionan estos procesos?

Este curso ofrece una introducción general a los conceptos de streaming, como batching, colas y procesamiento de flujos, y explica cómo encajan en los marcos de procesamiento de datos. Incluye ejemplos reales de cómo se implementa el streaming en producción. Está diseñado como una introducción general a estos conceptos y no requiere una amplia experiencia en procesamiento de datos.


Understanding Data Engineering

Descubre la diferencia entre procesamiento por lotes y en flujo, y sus aplicaciones reales.

Conceptos de streaming

Descubre la diferencia entre procesamiento por lotes y streaming, el escalado de sistemas de streaming y las aplicaciones en el mundo real.

Ingeniero de Datos Profesional en Python

Procesar todos los elementos recibidos antes de la 1 p. m. cada día.

Crear grupos de 10 imágenes aleatorias cada 2 horas.

Procesar los comentarios de usuario en el orden en que se reciben, pero solo cuando el sistema tenga capacidad de procesamiento libre.

Almacenar los clics de usuario en una aplicación web a medida que llegan.

Procesar las peticiones de canciones de los usuarios lo antes posible, sin demora.

¿Batch, cola o stream?

Conceptos de streaming

Ejercicio interactivo práctico