In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Introducción al streaming en tiempo real

Características

En tiempo real

No en tiempo real

¿Tiempo real?

Requisitos

¿Esta vez es en tiempo real?

Escalado vertical de sistemas de streaming

Motivos para escalar

Opciones

Probablemente mejoraría

No mejoraría

Para escalar verticalmente...

Escalar sistemas de streaming horizontalmente

Vertical

Horizontal

Escalado hacia fuera

Ayudaría a cumplir el SLA

No ayudaría a cumplir el SLA

Garantías de SLA

Obstáculos del streaming

Atributos

Verdadero

Falso

Atributos del streaming

Secuencias

Faltan datos

Fuera de orden

Con retraso

Tipos de incidencias

Problemas de streaming

Problemas de batching

Desafíos del streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

El streaming es un aspecto clave del mundo de los datos hoy en día y lo utilizan casi todos los sectores, desde la fabricación hasta la sanidad. ¿Te gustaría conocer mejor los conceptos generales de las canalizaciones de datos y cómo funcionan estos procesos?

Este curso ofrece una introducción general a los conceptos de streaming, como batching, colas y procesamiento de flujos, y explica cómo encajan en los marcos de procesamiento de datos. Incluye ejemplos reales de cómo se implementa el streaming en producción. Está diseñado como una introducción general a estos conceptos y no requiere una amplia experiencia en procesamiento de datos.


Understanding Data Engineering

Descubre la diferencia entre procesamiento por lotes y en flujo, y sus aplicaciones reales.

Conceptos de streaming

Descubre la diferencia entre procesamiento por lotes y streaming, el escalado de sistemas de streaming y las aplicaciones en el mundo real.

Ingeniero de Datos Profesional en Python

Los pedidos en la web deben aceptarse en un máximo de 10 segundos; de lo contrario, muestra un error.

El sistema ABS del vehículo debe actualizarse de forma continua en menos de 30 ms.

Los registros de seguridad del sistema deben escribirse en almacenamiento permanente dentro de los 15 s desde su recepción.

Los datos de clientes deben convertirse a varios tamaños de imagen al menor coste posible.

Los archivos deben replicarse entre varios sistemas en función de la disponibilidad.

¿Esta vez es en tiempo real?

Conceptos de streaming

ejercicio interactivo práctico