In questo capitolo troverai un’introduzione ai concetti di base dell’elaborazione batch dei dati, con focus su implementazione, scalabilità e possibili sfide durante l’uso.

Introduzione al batch processing

Caratteristiche dei batch

Ordine dei batch

Scalare l'elaborazione in batch

Questione di scala

In opposizione orizzontale

Problemi nel batch

Problemi dei batch

Scenari per i batch

Metodi per l’elaborazione dei dati

Qui imparerai le basi dello streaming, l’elaborazione dei dati basata su eventi e i vantaggi rispetto all’elaborazione tradizionale in batch.

Introduzione all'elaborazione basata su eventi

Affermazioni

Vero

Falso

In caso di...

Azioni

Evento

Non è un evento

Benvenuto all'evento!

Accodamento

Caratteristiche

Descrive una queue

Non descrive una queue

Caratteristiche delle queue

Scenario

Usa una coda

Non usare una coda

Mettere in coda o non mettere in coda

Streaming di dati su un singolo sistema

Log eventi a flusso singolo

Ordine del flusso di log

Progetti

Logging

Altro

Opzioni di log

Batching vs streaming

Scenari

Batch

Queue

Stream

Batch, queue o stream?

Processo di log in streaming

Processore di stream di log

Introduzione allo streaming

Questo capitolo introduce i concetti alla base dei moderni sistemi di streaming, come scalarli e alcune criticità nell’uso dei processi di streaming.

Introduzione allo streaming in tempo reale

Tempo reale?

È davvero in tempo reale stavolta?

Scalare verticalmente i sistemi di streaming

Motivi per scalare

Per scalare verticalmente...?

Scalare orizzontalmente i sistemi di streaming

Scalata in orizzontale

Garanzie SLA

Ostacoli nello streaming

Attributi dello streaming

Tipi di problemi

Sfide dello streaming

Sistemi di streaming

In questo capitolo finale, conoscerai i sistemi di streaming più comuni e valuterai l’implementazione dell’elaborazione in streaming dei dati in diversi casi d’uso.

Sistemi di streaming più diffusi

Verità sullo streaming

Incrociare i flussi...

Caso d’uso reale: servizio di musica in streaming

Componenti del messaggio

Rispondi a questo...

Caso d’uso reale: dati dei sensori

Ottimo ordine degli SLA

Considerazioni sullo scaling dei sensori

Caso d’uso reale: clinica per le vaccinazioni

Ambulatorio vaccinale - classifica le aree

Un nuovo problema...

Congratulazioni!

Casi d’uso reali

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Il parser legge le informazioni nell'evento.

La logica di processo determina cosa fare con i dati.

Il writer del log salva le informazioni in un file come richiesto.

Ordine del flusso di log

Concetti di Streaming

esercizio interattivo pratico