En este capítulo, tendrás una introducción a conceptos básicos del procesamiento por lotes, centrada en la implementación, la escalabilidad y los posibles retos durante su uso.

Introducción al procesamiento por lotes

Características de los lotes

Orden de los lotes

Escalar el procesamiento por lotes

A escala

Opuestos en horizontal

Problemas en el procesamiento por lotes

Problemas de los lotes

Escenarios por lotes

Métodos para procesar datos

Aquí aprenderás los fundamentos del streaming, el procesamiento de datos basado en eventos y las ventajas frente al procesamiento tradicional por lotes.

Introducción a la computación basada en eventos

En caso de que...

¡Bienvenido al evento!

Colas

Características de una cola

Hacer cola o no hacer cola

Transmisión de datos en un único sistema

Orden del flujo de registros

Opciones de registro (logging)

Procesamiento por lotes vs. streaming

¿Batch, cola o stream?

Procesador de flujos de registros

Introducción al streaming

Este capítulo presenta los conceptos detrás de los sistemas de streaming modernos, cómo escalarlos y algunos de los problemas que surgen al utilizar procesos de streaming.

Introducción al streaming en tiempo real

Características

En tiempo real

No en tiempo real

¿Tiempo real?

Requisitos

¿Esta vez es en tiempo real?

Escalado vertical de sistemas de streaming

Motivos para escalar

Opciones

Probablemente mejoraría

No mejoraría

Para escalar verticalmente...

Escalar sistemas de streaming horizontalmente

Vertical

Horizontal

Escalado hacia fuera

Ayudaría a cumplir el SLA

No ayudaría a cumplir el SLA

Garantías de SLA

Obstáculos del streaming

Atributos

Verdadero

Falso

Atributos del streaming

Secuencias

Faltan datos

Fuera de orden

Con retraso

Tipos de incidencias

Problemas de streaming

Problemas de batching

Desafíos del streaming

Sistemas de streaming

En este capítulo final, conocerás sistemas de streaming habituales y analizarás la implementación del procesamiento de datos en streaming en distintos casos de uso.

Sistemas de streaming populares

Verdades sobre streaming

Cruzando los flujos...

Caso de uso real: servicio de música en streaming

Componentes del mensaje

Respóndeme esto...

Caso de uso real: datos de sensores

Buen orden de los SLA

Consideraciones de escalado para sensores

Caso de uso real: clínica de vacunación

Clínica de vacunación: clasifica las áreas

Un nuevo problema...

¡Enhorabuena!

Casos de uso reales

El streaming es un aspecto clave del mundo de los datos hoy en día y lo utilizan casi todos los sectores, desde la fabricación hasta la sanidad. ¿Te gustaría conocer mejor los conceptos generales de las canalizaciones de datos y cómo funcionan estos procesos?

Este curso ofrece una introducción general a los conceptos de streaming, como batching, colas y procesamiento de flujos, y explica cómo encajan en los marcos de procesamiento de datos. Incluye ejemplos reales de cómo se implementa el streaming en producción. Está diseñado como una introducción general a estos conceptos y no requiere una amplia experiencia en procesamiento de datos.


Understanding Data Engineering

Descubre la diferencia entre procesamiento por lotes y en flujo, y sus aplicaciones reales.

Conceptos de streaming

Descubre la diferencia entre procesamiento por lotes y streaming, el escalado de sistemas de streaming y las aplicaciones en el mundo real.

Ingeniero de Datos Profesional en Python

Un cliente necesita reducir el tiempo necesario para procesar un elemento concreto. Cambias a una CPU más rápida.

Un cliente necesita procesar más eventos simultáneamente. Duplicas el número de sistemas en uso.

Una compañera necesita reducir el tiempo de procesamiento de un único evento. Añades 3 sistemas al clúster.

Un cliente quiere mejorar un proceso limitado por CPU. Este sistema ya tiene la CPU más rápida disponible. Añades un SSD.

Garantías de SLA

Conceptos de streaming

Ejercicio interactivo práctico