In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Introduzione all'elaborazione basata su eventi

Affermazioni

Vero

Falso

In caso di...

Azioni

Evento

Non è un evento

Benvenuto all'evento!

Accodamento

Caratteristiche

Descrive una queue

Non descrive una queue

Caratteristiche delle queue

Scenario

Usa una coda

Non usare una coda

Mettere in coda o non mettere in coda

Streaming di dati su un singolo sistema

Log eventi a flusso singolo

Ordine del flusso di log

Progetti

Logging

Altro

Opzioni di log

Batching vs streaming

Scenari

Batch

Queue

Stream

Batch, queue o stream?

Processo di log in streaming

Processore di stream di log

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Elaborare tutti gli elementi ricevuti entro le 13:00 ogni giorno.

Creare gruppi di 10 immagini casuali ogni 2 ore.

Elaborare i commenti degli utenti nell'ordine di arrivo, ma solo quando il sistema ha capacità di calcolo libera.

Archiviare i clic degli utenti su un'applicazione web man mano che arrivano.

Elaborare le richieste di brani degli utenti il prima possibile, senza ritardi.

Batch, queue o stream?

Concetti di Streaming

Esercizio pratico interattivo