În acest capitol, vei primi o introducere în conceptele de bază ale procesării datelor pe loturi, axată pe implementare, scalare și potențiale provocări întâlnite în utilizare.

Introducere în procesarea pe loturi

Caracteristicile procesării batch

Ordinea într-un proces batch

Scalarea procesării în loturi

La scară

Opinii opuse despre scalare

Probleme cu procesarea în loturi

Scenarii pentru procesarea în loturi

Metode de procesare a datelor

Aici vei învăța elementele de bază ale streamingului, procesarea datelor bazată pe evenimente și avantajele față de procesarea tradițională pe loturi.

Introducere în computing-ul bazat pe evenimente

În cazul în care...

Bun venit la eveniment!

Cozi de așteptare

Caracteristicile cozii

Coadă sau nu?

Streaming de date într-un sistem unic

Ordinea fluxului de jurnalizare

Opțiuni de jurnalizare

Procesare pe loturi vs. streaming

Lot, coadă sau stream?

Procesor de flux de jurnale

Introducere în streaming

Acest capitol introduce conceptele din spatele sistemelor moderne de streaming, modul în care acestea pot fi scalate și câteva dintre problemele întâlnite în utilizarea proceselor de streaming.

Introducere în streaming în timp real

Timp real?

De data asta e în timp real?

Scalarea verticală a sistemelor de streaming

Motive pentru scalare

Cum scalezi vertical...?

Scalarea orizontală a sistemelor de streaming

Scalat la maximum

Garanții SLA

Obstacole în streaming

Caracteristici ale streaming-ului

Tipuri de probleme

Provocările sistemelor de streaming

Sisteme de streaming

În acest capitol final, vei afla despre sistemele de streaming utilizate frecvent și vei analiza implementarea procesării datelor prin streaming în diferite cazuri de utilizare.

Sisteme populare de streaming

Opțiuni

Afirmații

Adevărat

Fals

Adevăruri despre streaming

Cerințe

Celery

Kafka

Spark streaming

Combinând fluxurile...

Caz de utilizare real: serviciu de muzică în streaming

Atribute

Obligatoriu

Neobligatoriu

Componentele unui mesaj

Întrebări

Se poate răspunde

Nu se poate răspunde

Răspunde la întrebări...

Caz de utilizare real: date de la senzori

Prioritatea SLA

Ordinea corectă a SLA-urilor

Proiecte

Verticală

Orizontală

Considerații privind scalarea senzorilor

Caz de utilizare din lumea reală: clinică de vaccinare

Zone

Proces batch

Proces cu coadă de așteptare

Proces de streaming

Clinică de vaccinare – clasificarea zonelor

Batch

Coadă (Queue)

Stream

O nouă provocare...

Felicitări!

Cazuri de utilizare din lumea reală

Streamingul este un aspect esențial al lumii datelor în momentul de față și este utilizat în aproape orice industrie, de la producție la sănătate. Vrei să afli mai multe despre conceptele generale din spatele pipeline-urilor de date și despre modul în care funcționează aceste procese?

Acest curs oferă o introducere generală în conceptele de streaming, inclusiv procesarea pe loturi, cozi de mesaje și procesarea fluxurilor de date, precum și locul lor în cadrul arhitecturilor de procesare a datelor. Sunt acoperite exemple din lumea reală despre modul în care streamingul este implementat în producție. Cursul este conceput ca o introducere generală în aceste concepte și nu necesită cunoștințe extinse în domeniul procesării datelor.


Understanding Data Engineering

Aflați diferența dintre batching și streaming, scalarea sistemelor de streaming și aplicații reale.

Concepte de streaming

Află diferența dintre batching și streaming, scalarea sistemelor de streaming și aplicațiile din lumea reală.

Inginer de date profesionist în Python

Un set de senzori de temperatură pentru un singur centru de date, unde datele trebuie procesate mai rapid.

Un grup de senzori de trafic al căror număr s-a dublat, însă datele trebuie procesate în același SLA. Din motive bugetare, poate fi folosit un singur server.

Un set de interfoane conectate la nivel mondial, care ar trebui echilibrate în funcție de locație.

Senzori de consum energetic răspândiți pe o zonă metropolitană extinsă, cu maximum 10 senzori per server central.

Considerații privind scalarea senzorilor

Concepte de streaming

Exercițiu interactiv practic