In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Introduzione allo streaming in tempo reale

Caratteristiche

In tempo reale

Non in tempo reale

Tempo reale?

Requisiti

Tempo reale

È davvero in tempo reale stavolta?

Scalare verticalmente i sistemi di streaming

Motivi per scalare

Opzioni

Migliorerebbe

Non migliorerebbe

Per scalare verticalmente...?

Scalare orizzontalmente i sistemi di streaming

Verticale

Orizzontale

Scalata in orizzontale

Aiuterebbe a rispettare l'SLA

Non aiuterebbe a rispettare l'SLA

Garanzie SLA

Ostacoli nello streaming

Attributi

Vero

Falso

Attributi dello streaming

Sequenze

Mancante

Fuori ordine

In ritardo

Tipi di problemi

Problemi per lo streaming

Problemi per il batching

Sfide dello streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Gli ordini dal sito web devono essere accettati entro 10 secondi, altrimenti mostra un errore.

Il sistema ABS del veicolo deve aggiornarsi continuamente entro 30 ms.

I log di sicurezza del sistema devono essere scritti in archiviazione permanente entro 15 s dalla ricezione.

I dati dei clienti devono essere convertiti in varie dimensioni di immagine al costo più basso possibile.

I file devono essere replicati tra più sistemi, in base alla disponibilità.

È davvero in tempo reale stavolta?

Concetti di Streaming

Esercizio pratico interattivo