In questo capitolo troverai un’introduzione ai concetti di base dell’elaborazione batch dei dati, con focus su implementazione, scalabilità e possibili sfide durante l’uso.

Introduzione al batch processing

Caratteristiche dei batch

Ordine dei batch

Scalare l'elaborazione in batch

Questione di scala

In opposizione orizzontale

Problemi nel batch

Problemi dei batch

Scenari per i batch

Metodi per l’elaborazione dei dati

Qui imparerai le basi dello streaming, l’elaborazione dei dati basata su eventi e i vantaggi rispetto all’elaborazione tradizionale in batch.

Introduzione all'elaborazione basata su eventi

In caso di...

Benvenuto all'evento!

Accodamento

Caratteristiche delle queue

Mettere in coda o non mettere in coda

Streaming di dati su un singolo sistema

Ordine del flusso di log

Opzioni di log

Batching vs streaming

Batch, queue o stream?

Processore di stream di log

Introduzione allo streaming

Questo capitolo introduce i concetti alla base dei moderni sistemi di streaming, come scalarli e alcune criticità nell’uso dei processi di streaming.

Introduzione allo streaming in tempo reale

Caratteristiche

In tempo reale

Non in tempo reale

Tempo reale?

Requisiti

Tempo reale

È davvero in tempo reale stavolta?

Scalare verticalmente i sistemi di streaming

Motivi per scalare

Opzioni

Migliorerebbe

Non migliorerebbe

Per scalare verticalmente...?

Scalare orizzontalmente i sistemi di streaming

Verticale

Orizzontale

Scalata in orizzontale

Aiuterebbe a rispettare l'SLA

Non aiuterebbe a rispettare l'SLA

Garanzie SLA

Ostacoli nello streaming

Attributi

Vero

Falso

Attributi dello streaming

Sequenze

Mancante

Fuori ordine

In ritardo

Tipi di problemi

Problemi per lo streaming

Problemi per il batching

Sfide dello streaming

Sistemi di streaming

In questo capitolo finale, conoscerai i sistemi di streaming più comuni e valuterai l’implementazione dell’elaborazione in streaming dei dati in diversi casi d’uso.

Sistemi di streaming più diffusi

Verità sullo streaming

Incrociare i flussi...

Caso d’uso reale: servizio di musica in streaming

Componenti del messaggio

Rispondi a questo...

Caso d’uso reale: dati dei sensori

Ottimo ordine degli SLA

Considerazioni sullo scaling dei sensori

Caso d’uso reale: clinica per le vaccinazioni

Ambulatorio vaccinale - classifica le aree

Un nuovo problema...

Congratulazioni!

Casi d’uso reali

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Un cliente deve ridurre il tempo necessario per elaborare un determinato elemento. Sostituisci la CPU con una più veloce.

Un cliente deve elaborare più eventi contemporaneamente. Raddoppi il numero di sistemi in uso.

Una collega deve ridurre il tempo di elaborazione per un singolo evento. Aggiungi 3 sistemi al cluster.

Un cliente vuole migliorare un processo limitato dalla CPU. Questo sistema ha già la CPU più veloce disponibile. Aggiungi un SSD.

Garanzie SLA

Concetti di Streaming

esercizio interattivo pratico