In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Sistemi di streaming più diffusi

Options

Statements

True

False

Verità sullo streaming

Requisiti

Celery

Kafka

Spark streaming

Incrociare i flussi...

Caso d’uso reale: servizio di musica in streaming

Attributi

Obbligatori

Non obbligatori

Componenti del messaggio

Domande

Can answer

Cannot answer

Rispondi a questo...

Caso d’uso reale: dati dei sensori

Priorità SLA

Ottimo ordine degli SLA

Progetti

Vertical

Horizontal

Considerazioni sullo scaling dei sensori

Caso d’uso reale: clinica per le vaccinazioni

Aree

Processo batch

Processo con coda

Processo in streaming

Ambulatorio vaccinale - classifica le aree

Batch

Queue

Stream

Un nuovo problema...

Congratulazioni!

Real-World Use Cases

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Un set di sensori di temperatura per un singolo data center, in cui i dati devono essere elaborati più rapidamente.

Un gruppo di sensori del traffico, che raddoppiano di numero, ma devono elaborare i dati entro lo stesso SLA. Per motivi di budget, si può usare un solo server.

Un set mondiale di campanelli connessi, che dovrebbe essere bilanciato in base alla posizione.

Sensori di consumo energetico distribuiti in un'ampia area metropolitana, con non più di 10 sensori per server centrale.

Considerazioni sullo scaling dei sensori

Concetti di Streaming

esercizio interattivo pratico