În acest capitol, vei afla ce este ingineria datelor și de ce cererea pentru ingineri de date este în creștere. Vei descoperi apoi locul ingineriei datelor în cadrul ciclului de viață al științei datelor, cum diferă inginerii de date de oamenii de știință specializați în date și vei avea o introducere în primul tău pipeline de date complet.

Ingineria datelor și big data

Urmează fluxul

Nu este responsabilitatea lor

La scară mare

Ingineri de date vs. oameni de știință ai datelor

Adevărul înainte de toate

Cine face ce

Fluxul de date

Aceasta nu este adevărată

Pipeline

Ce este ingineria datelor?

E momentul să vorbim despre stocarea datelor – una dintre responsabilitățile principale ale unui inginer de date. În acest capitol, vei învăța cum gestionează inginerii de date diferite structuri de date, cum lucrează în SQL – limbajul de programare preferat pentru interogarea și stocarea datelor – și cum implementează soluții adecvate de stocare cu ajutorul lacurilor de date și al depozitelor de date.

Structuri de date

Structuri

Care e diferența

Baze de date SQL

Vom găsi răspunsul

Coloane

Rase diferite

Depozite de date și lacuri de date

Spune adevărul

Depozitul nostru de date (la mijlocul drumului)

Stocarea datelor

Inginerii de date le ușurează munca oamenilor de știință specializați în date, pregătind datele brute pentru analiză prin diferite tehnici de procesare aplicate în etape distincte. Aceste etape trebuie combinate pentru a crea pipeline-uri, moment în care intervine automatizarea. În plus, inginerii de date folosesc calculul paralel și cloud computing pentru a menține pipeline-urile în funcțiune fără întreruperi.

Procesarea datelor

Opțiuni

Extract

Transform

Load

Conectează punctele

Planificarea datelor

Manual

Timp

Condiție

Tipuri de programare

Lot (Batch)

Flux (Stream)

Unul sau celălalt

Calcul paralel

Oricând, oriunde

Corect

Incorect

Univers paralel

Cloud computing

Greșit

Acoperit de nori

Computing

Baze de date

Fiecare la locul lui

Suntem campionii

Mutarea și procesarea datelor

Lexicon

Course Glossary: Understanding Data Engineering

În 2019, salariul mediu al inginerilor de date l-a depășit pe cel al oamenilor de știință specializați în date. Cum s-a întâmplat asta? Companiile care doreau să valorifice datele lor și-au dat seama că nu era posibil fără o infrastructură solidă. Inginerii de date pun bazele care fac posibilă știința datelor.
<br /> <br />
În acest curs, vei afla care sunt responsabilitățile principale ale unui inginer de date, cum diferă aceștia de oamenii de știință specializați în date și cum facilitează fluxul de date într-o organizație. Prin exerciții practice, vei urmări Spotflix, o companie fictivă de streaming muzical, pentru a înțelege cum inginerii lor de date colectează, curăță și cataloghează datele. La finalul cursului, vei înțelege ce fac inginerii de date din compania ta, vei fi pregătit să porți o conversație cu un inginer de date și vei avea o bază solidă pentru a-ți începe propriul parcurs în ingineria datelor.

Videourile conțin transcrieri live, accesibile făcând clic pe „Show transcript" în colțul din stânga jos al fiecărui video.

Glosarul cursului se găsește în dreapta, în secțiunea de resurse.

Pentru a obține credite CPE, trebuie să finalizezi cursul și să obții un scor de 70% la evaluarea calificată. Poți naviga la evaluare făcând clic pe notificarea CPE credits din dreapta.

<h2> Înțelege bazele ingineriei datelor </h2>
<br>
În acest curs, vei învăța despre responsabilitățile de bază ale unui inginer de date, cum diferă acestea de cele ale oamenilor de știință de date și cum să facilitezi fluxul de date într-o organizație. Prin exerciții practice, vei urmări Spotflix, o companie fictivă de streaming muzical, pentru a înțelege cum inginerii lor de date colectează, curăță și cataloghează datele. 
<br><br>
<h2> Aplică în cazuri personale</h2>
<br>
La finalul cursului, vei înțelege ce fac inginerii de date din compania ta, vei fi pregătit să porți o conversație cu un inginer de date și vei avea o bază solidă pentru a-ți începe propria călătorie ca inginer de date.

Descoperă cum inginerii de date pun bazele pentru știința datelor. Fără codare!

Înțelegerea ingineriei datelor

Descoperă cum inginerii de date pun bazele care fac posibilă știința datelor. Fără programare!

Inginer de date asociat în SQL

Analist de date în Databricks

Înțelegerea subiectelor de date

Rularea pipeline-ului de codare a melodiilor, deoarece echipa de inginerie a modificat encoderul și vrea să se asigure că fișierele trec în continuare verificarea de validare.

Generarea Spotflix Weekly Playlist din Capitolul 1 în fiecare luni la 00:00.

Procesarea videoclipurilor muzicale încărcate de artiști, în fiecare oră.

Colectarea datelor din Google Analytics în fiecare dimineață pentru a urmări evoluția campaniei de promovare.

Rularea verificărilor de validare atunci când sunt colectate videoclipuri noi.

Actualizarea numărului de urmăritori dintr-un tabel de playlist-uri după ce un utilizator s-a abonat la acesta.

Tipuri de programare

Înțelegerea ingineriei datelor

Exercițiu interactiv practic