In questo capitolo troverai un’introduzione ai concetti di base dell’elaborazione batch dei dati, con focus su implementazione, scalabilità e possibili sfide durante l’uso.

Introduzione al batch processing

Caratteristiche dei batch

Ordine dei batch

Scalare l'elaborazione in batch

Questione di scala

In opposizione orizzontale

Problemi nel batch

Problemi dei batch

Scenari per i batch

Metodi per l’elaborazione dei dati

Qui imparerai le basi dello streaming, l’elaborazione dei dati basata su eventi e i vantaggi rispetto all’elaborazione tradizionale in batch.

Introduzione all'elaborazione basata su eventi

In caso di...

Benvenuto all'evento!

Accodamento

Caratteristiche delle queue

Mettere in coda o non mettere in coda

Streaming di dati su un singolo sistema

Ordine del flusso di log

Opzioni di log

Batching vs streaming

Batch, queue o stream?

Processore di stream di log

Introduzione allo streaming

Questo capitolo introduce i concetti alla base dei moderni sistemi di streaming, come scalarli e alcune criticità nell’uso dei processi di streaming.

Introduzione allo streaming in tempo reale

Caratteristiche

In tempo reale

Non in tempo reale

Tempo reale?

Requisiti

Tempo reale

È davvero in tempo reale stavolta?

Scalare verticalmente i sistemi di streaming

Motivi per scalare

Opzioni

Migliorerebbe

Non migliorerebbe

Per scalare verticalmente...?

Scalare orizzontalmente i sistemi di streaming

Verticale

Orizzontale

Scalata in orizzontale

Aiuterebbe a rispettare l'SLA

Non aiuterebbe a rispettare l'SLA

Garanzie SLA

Ostacoli nello streaming

Attributi

Vero

Falso

Attributi dello streaming

Sequenze

Mancante

Fuori ordine

In ritardo

Tipi di problemi

Problemi per lo streaming

Problemi per il batching

Sfide dello streaming

Sistemi di streaming

In questo capitolo finale, conoscerai i sistemi di streaming più comuni e valuterai l’implementazione dell’elaborazione in streaming dei dati in diversi casi d’uso.

Sistemi di streaming più diffusi

Verità sullo streaming

Incrociare i flussi...

Caso d’uso reale: servizio di musica in streaming

Componenti del messaggio

Rispondi a questo...

Caso d’uso reale: dati dei sensori

Ottimo ordine degli SLA

Considerazioni sullo scaling dei sensori

Caso d’uso reale: clinica per le vaccinazioni

Ambulatorio vaccinale - classifica le aree

Un nuovo problema...

Congratulazioni!

Casi d’uso reali

Lo streaming è oggi un elemento fondamentale nel mondo dei dati ed è utilizzato in quasi tutti i settori, dalla manifattura all’assistenza sanitaria. Ti piacerebbe scoprire di più sui concetti generali alla base delle pipeline di dati e su come funzionano i processi?

Questo corso offre un’introduzione generale ai concetti di streaming, tra cui batching, accodamento e stream processing, e spiega come si inseriscono nei framework di elaborazione dei dati. Include esempi reali di come lo streaming viene implementato in produzione. È pensato come introduzione generale a questi concetti e non richiede una vasta esperienza nell’elaborazione dei dati.


Understanding Data Engineering

Scopri la differenza tra batching e streaming, scalare sistemi di streaming e applicazioni reali.

Concetti di Streaming

Scopri la differenza tra elaborazione in batch e streaming, come far crescere i sistemi di streaming e le applicazioni nel mondo reale.

Ingegnere dei dati professionale in Python

Gli ordini dal sito web devono essere accettati entro 10 secondi, altrimenti mostra un errore.

Il sistema ABS del veicolo deve aggiornarsi continuamente entro 30 ms.

I log di sicurezza del sistema devono essere scritti in archiviazione permanente entro 15 s dalla ricezione.

I dati dei clienti devono essere convertiti in varie dimensioni di immagine al costo più basso possibile.

I file devono essere replicati tra più sistemi, in base alla disponibilità.

È davvero in tempo reale stavolta?

Concetti di Streaming

esercizio interattivo pratico