În acest capitol, vei primi o introducere în conceptele de bază ale procesării datelor pe loturi, axată pe implementare, scalare și potențiale provocări întâlnite în utilizare.

Introducere în procesarea pe loturi

Caracteristicile procesării batch

Ordinea într-un proces batch

Scalarea procesării în loturi

La scară

Opinii opuse despre scalare

Probleme cu procesarea în loturi

Scenarii pentru procesarea în loturi

Metode de procesare a datelor

Aici vei învăța elementele de bază ale streamingului, procesarea datelor bazată pe evenimente și avantajele față de procesarea tradițională pe loturi.

Introducere în computing-ul bazat pe evenimente

În cazul în care...

Bun venit la eveniment!

Cozi de așteptare

Caracteristicile cozii

Coadă sau nu?

Streaming de date într-un sistem unic

Ordinea fluxului de jurnalizare

Opțiuni de jurnalizare

Procesare pe loturi vs. streaming

Lot, coadă sau stream?

Procesor de flux de jurnale

Introducere în streaming

Acest capitol introduce conceptele din spatele sistemelor moderne de streaming, modul în care acestea pot fi scalate și câteva dintre problemele întâlnite în utilizarea proceselor de streaming.

Introducere în streaming în timp real

Caracteristici

Timp real

Non-timp real

Timp real?

Cerințe

De data asta e în timp real?

Scalarea verticală a sistemelor de streaming

Motive pentru scalare

Opțiuni

Ar îmbunătăți

Nu ar îmbunătăți

Cum scalezi vertical...?

Scalarea orizontală a sistemelor de streaming

Verticală

Orizontală

Scalat la maximum

Ar ajuta la îndeplinirea SLA

Nu ar ajuta la îndeplinirea SLA

Garanții SLA

Obstacole în streaming

Atribute

Adevărat

Fals

Caracteristici ale streaming-ului

Secvențe

Lipsă

Dezordonate

Întârziate

Tipuri de probleme

Probleme specifice streaming-ului

Probleme specifice procesării batch

Provocările sistemelor de streaming

Sisteme de streaming

În acest capitol final, vei afla despre sistemele de streaming utilizate frecvent și vei analiza implementarea procesării datelor prin streaming în diferite cazuri de utilizare.

Sisteme populare de streaming

Adevăruri despre streaming

Combinând fluxurile...

Caz de utilizare real: serviciu de muzică în streaming

Componentele unui mesaj

Răspunde la întrebări...

Caz de utilizare real: date de la senzori

Ordinea corectă a SLA-urilor

Considerații privind scalarea senzorilor

Caz de utilizare din lumea reală: clinică de vaccinare

Clinică de vaccinare – clasificarea zonelor

O nouă provocare...

Felicitări!

Cazuri de utilizare din lumea reală

Streamingul este un aspect esențial al lumii datelor în momentul de față și este utilizat în aproape orice industrie, de la producție la sănătate. Vrei să afli mai multe despre conceptele generale din spatele pipeline-urilor de date și despre modul în care funcționează aceste procese?

Acest curs oferă o introducere generală în conceptele de streaming, inclusiv procesarea pe loturi, cozi de mesaje și procesarea fluxurilor de date, precum și locul lor în cadrul arhitecturilor de procesare a datelor. Sunt acoperite exemple din lumea reală despre modul în care streamingul este implementat în producție. Cursul este conceput ca o introducere generală în aceste concepte și nu necesită cunoștințe extinse în domeniul procesării datelor.


Understanding Data Engineering

Aflați diferența dintre batching și streaming, scalarea sistemelor de streaming și aplicații reale.

Concepte de streaming

Află diferența dintre batching și streaming, scalarea sistemelor de streaming și aplicațiile din lumea reală.

Inginer de date profesionist în Python

Un client trebuie să reducă timpul necesar procesării unui articol. Înlocuiești procesorul cu unul mai rapid.

Un client trebuie să proceseze mai multe evenimente simultan. Dublezi numărul de sisteme utilizate.

Un coleg trebuie să reducă timpul de procesare pentru un singur eveniment. Adaugi 3 sisteme în cluster.

Un client dorește să îmbunătățească un proces limitat de procesor. Sistemul are deja cel mai rapid CPU disponibil. Adaugi un SSD.

Garanții SLA

Concepte de streaming

Exercițiu interactiv practic