En este capítulo, tendrás una introducción a conceptos básicos del procesamiento por lotes, centrada en la implementación, la escalabilidad y los posibles retos durante su uso.

Introducción al procesamiento por lotes

Características de los lotes

Orden de los lotes

Escalar el procesamiento por lotes

A escala

Opuestos en horizontal

Problemas en el procesamiento por lotes

Problemas de los lotes

Escenarios por lotes

Métodos para procesar datos

Aquí aprenderás los fundamentos del streaming, el procesamiento de datos basado en eventos y las ventajas frente al procesamiento tradicional por lotes.

Introducción a la computación basada en eventos

En caso de que...

¡Bienvenido al evento!

Colas

Características de una cola

Hacer cola o no hacer cola

Transmisión de datos en un único sistema

Orden del flujo de registros

Opciones de registro (logging)

Procesamiento por lotes vs. streaming

¿Batch, cola o stream?

Procesador de flujos de registros

Introducción al streaming

Este capítulo presenta los conceptos detrás de los sistemas de streaming modernos, cómo escalarlos y algunos de los problemas que surgen al utilizar procesos de streaming.

Introducción al streaming en tiempo real

¿Tiempo real?

¿Esta vez es en tiempo real?

Escalado vertical de sistemas de streaming

Motivos para escalar

Para escalar verticalmente...

Escalar sistemas de streaming horizontalmente

Escalado hacia fuera

Garantías de SLA

Obstáculos del streaming

Atributos del streaming

Tipos de incidencias

Desafíos del streaming

Sistemas de streaming

En este capítulo final, conocerás sistemas de streaming habituales y analizarás la implementación del procesamiento de datos en streaming en distintos casos de uso.

Sistemas de streaming populares

Options

Statements

True

False

Verdades sobre streaming

Requisitos

Celery

Kafka

Spark streaming

Cruzando los flujos...

Caso de uso real: servicio de música en streaming

Atributos

Obligatorio

No obligatorio

Componentes del mensaje

Questions

Can answer

Cannot answer

Respóndeme esto...

Caso de uso real: datos de sensores

Prioridad de SLA

Buen orden de los SLA

Proyectos

Vertical

Horizontal

Consideraciones de escalado para sensores

Caso de uso real: clínica de vacunación

Áreas

Proceso por lotes

Proceso en cola

Proceso en streaming

Clínica de vacunación: clasifica las áreas

Batch

Queue

Stream

Un nuevo problema...

¡Enhorabuena!

Casos de uso reales

El streaming es un aspecto clave del mundo de los datos hoy en día y lo utilizan casi todos los sectores, desde la fabricación hasta la sanidad. ¿Te gustaría conocer mejor los conceptos generales de las canalizaciones de datos y cómo funcionan estos procesos?

Este curso ofrece una introducción general a los conceptos de streaming, como batching, colas y procesamiento de flujos, y explica cómo encajan en los marcos de procesamiento de datos. Incluye ejemplos reales de cómo se implementa el streaming en producción. Está diseñado como una introducción general a estos conceptos y no requiere una amplia experiencia en procesamiento de datos.


Understanding Data Engineering

Descubre la diferencia entre procesamiento por lotes y en flujo, y sus aplicaciones reales.

Conceptos de streaming

Descubre la diferencia entre procesamiento por lotes y streaming, el escalado de sistemas de streaming y las aplicaciones en el mundo real.

Ingeniero de Datos Profesional en Python

Un conjunto de sensores de temperatura para un único centro de datos, donde los datos deben procesarse más rápido.

Un grupo de sensores de tráfico, que se duplican en cantidad, pero deben procesar los datos dentro del mismo SLA. Por motivos de presupuesto, solo se puede usar un único servidor.

Un conjunto mundial de timbres conectados, que debería equilibrarse según la ubicación.

Sensores de consumo eléctrico en toda una gran área metropolitana, con un máximo de 10 sensores por servidor central.

Consideraciones de escalado para sensores

Conceptos de streaming

Ejercicio interactivo práctico