In questo capitolo troverai un’introduzione ai concetti di base dell’elaborazione batch dei dati, con focus su implementazione, scalabilità e possibili sfide durante l’uso.

Introduzione al batch processing

Caratteristiche dei batch

Ordine dei batch

Scalare l'elaborazione in batch

Questione di scala

In opposizione orizzontale

Problemi nel batch

Problemi dei batch

Scenari per i batch

Metodi per l’elaborazione dei dati

Qui imparerai le basi dello streaming, l’elaborazione dei dati basata su eventi e i vantaggi rispetto all’elaborazione tradizionale in batch.

Introduzione all'elaborazione basata su eventi

In caso di...

Benvenuto all'evento!

Accodamento

Caratteristiche delle queue

Mettere in coda o non mettere in coda

Streaming di dati su un singolo sistema

Ordine del flusso di log

Opzioni di log

Batching vs streaming

Batch, queue o stream?

Processore di stream di log

Introduzione allo streaming

Questo capitolo introduce i concetti alla base dei moderni sistemi di streaming, come scalarli e alcune criticità nell’uso dei processi di streaming.

Introduzione allo streaming in tempo reale

Tempo reale?

È davvero in tempo reale stavolta?

Scalare verticalmente i sistemi di streaming

Motivi per scalare

Per scalare verticalmente...?

Scalare orizzontalmente i sistemi di streaming

Scalata in orizzontale

Garanzie SLA

Ostacoli nello streaming

Attributi dello streaming

Tipi di problemi

Sfide dello streaming

Sistemi di streaming

In questo capitolo finale, conoscerai i sistemi di streaming più comuni e valuterai l’implementazione dell’elaborazione in streaming dei dati in diversi casi d’uso.

Sistemi di streaming più diffusi

Options

Statements

True

False

Verità sullo streaming

Requisiti

Celery

Kafka

Spark streaming

Incrociare i flussi...

Caso d’uso reale: servizio di musica in streaming

Attributi

Obbligatori

Non obbligatori

Componenti del messaggio

Domande

Can answer

Cannot answer

Rispondi a questo...

Caso d’uso reale: dati dei sensori

Priorità SLA

Ottimo ordine degli SLA

Progetti

Vertical

Horizontal

Considerazioni sullo scaling dei sensori

Caso d’uso reale: clinica per le vaccinazioni

Aree

Processo batch

Processo con coda

Processo in streaming

Ambulatorio vaccinale - classifica le aree

Batch

Queue

Stream

Un nuovo problema...

Congratulazioni!

Casi d’uso reali

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Ridimensionare l'immagine del profilo di un utente alle dimensioni standard

Inviare un'email di benvenuto quando un utente si iscrive a un nuovo corso

Passare le email a un gruppo di sistemi che richiedono tutti una copia

Archiviare le interazioni degli utenti a tempo indefinito.

Elaborare rapidamente una grande quantità di messaggi e prevedere se il contenuto è positivo o negativo

Convertire una grande quantità di messaggi da un formato a un altro

Incrociare i flussi...

Concetti di Streaming

esercizio interattivo pratico