În acest capitol, vei primi o introducere în conceptele de bază ale procesării datelor pe loturi, axată pe implementare, scalare și potențiale provocări întâlnite în utilizare.

Introducere în procesarea pe loturi

Caracteristicile procesării batch

Ordinea într-un proces batch

Scalarea procesării în loturi

La scară

Opinii opuse despre scalare

Probleme cu procesarea în loturi

Scenarii pentru procesarea în loturi

Metode de procesare a datelor

Aici vei învăța elementele de bază ale streamingului, procesarea datelor bazată pe evenimente și avantajele față de procesarea tradițională pe loturi.

Introducere în computing-ul bazat pe evenimente

Afirmații

Adevărat

Fals

În cazul în care...

Acțiuni

Eveniment

Nu este un eveniment

Bun venit la eveniment!

Cozi de așteptare

Caracteristici

Descrie o coadă

Nu descrie o coadă

Caracteristicile cozii

Scenariu

Folosește o coadă

Nu folosi o coadă

Coadă sau nu?

Streaming de date într-un sistem unic

Jurnal de evenimente – flux unic

Ordinea fluxului de jurnalizare

Proiecte

Jurnalizare

Altceva

Opțiuni de jurnalizare

Procesare pe loturi vs. streaming

Scenarii

Coadă

Stream

Lot, coadă sau stream?

Procesul fluxului de jurnale

Procesor de flux de jurnale

Introducere în streaming

Acest capitol introduce conceptele din spatele sistemelor moderne de streaming, modul în care acestea pot fi scalate și câteva dintre problemele întâlnite în utilizarea proceselor de streaming.

Introducere în streaming în timp real

Timp real?

De data asta e în timp real?

Scalarea verticală a sistemelor de streaming

Motive pentru scalare

Cum scalezi vertical...?

Scalarea orizontală a sistemelor de streaming

Scalat la maximum

Garanții SLA

Obstacole în streaming

Caracteristici ale streaming-ului

Tipuri de probleme

Provocările sistemelor de streaming

Sisteme de streaming

În acest capitol final, vei afla despre sistemele de streaming utilizate frecvent și vei analiza implementarea procesării datelor prin streaming în diferite cazuri de utilizare.

Sisteme populare de streaming

Adevăruri despre streaming

Combinând fluxurile...

Caz de utilizare real: serviciu de muzică în streaming

Componentele unui mesaj

Răspunde la întrebări...

Caz de utilizare real: date de la senzori

Ordinea corectă a SLA-urilor

Considerații privind scalarea senzorilor

Caz de utilizare din lumea reală: clinică de vaccinare

Clinică de vaccinare – clasificarea zonelor

O nouă provocare...

Felicitări!

Cazuri de utilizare din lumea reală

Streamingul este un aspect esențial al lumii datelor în momentul de față și este utilizat în aproape orice industrie, de la producție la sănătate. Vrei să afli mai multe despre conceptele generale din spatele pipeline-urilor de date și despre modul în care funcționează aceste procese?

Acest curs oferă o introducere generală în conceptele de streaming, inclusiv procesarea pe loturi, cozi de mesaje și procesarea fluxurilor de date, precum și locul lor în cadrul arhitecturilor de procesare a datelor. Sunt acoperite exemple din lumea reală despre modul în care streamingul este implementat în producție. Cursul este conceput ca o introducere generală în aceste concepte și nu necesită cunoștințe extinse în domeniul procesării datelor.


Understanding Data Engineering

Aflați diferența dintre batching și streaming, scalarea sistemelor de streaming și aplicații reale.

Concepte de streaming

Află diferența dintre batching și streaming, scalarea sistemelor de streaming și aplicațiile din lumea reală.

Inginer de date profesionist în Python

Procesarea tuturor elementelor primite până la ora 13:00, zilnic.

Crearea unor grupuri de 10 imagini aleatoare la fiecare 2 ore.

Procesarea comentariilor utilizatorilor în ordinea în care sunt primite, dar doar când sistemul are capacitate de procesare disponibilă.

Stocarea clicurilor utilizatorilor într-o aplicație web pe măsură ce acestea sosesc.

Procesarea cererilor de redare a melodiilor cât mai repede posibil, fără întârziere.

Lot, coadă sau stream?

Concepte de streaming

Exercițiu interactiv practic