În acest capitol, vei afla ce este ingineria datelor și de ce cererea pentru ingineri de date este în creștere. Vei descoperi apoi locul ingineriei datelor în cadrul ciclului de viață al științei datelor, cum diferă inginerii de date de oamenii de știință specializați în date și vei avea o introducere în primul tău pipeline de date complet.

Ingineria datelor și big data

Fluxul de lucru în știința datelor

Urmează fluxul

Opțiuni

Sarcini de inginerie a datelor

Nu sunt sarcini de inginerie a datelor

Nu este responsabilitatea lor

Adevărat

Fals

La scară mare

Ingineri de date vs. oameni de știință ai datelor

Adevărul înainte de toate

Inginer de date

Om de știință al datelor

Cine face ce

Fluxul de date

Aceasta nu este adevărată

Fluxul de lucru în data science

Pipeline

Ce este ingineria datelor?

E momentul să vorbim despre stocarea datelor – una dintre responsabilitățile principale ale unui inginer de date. În acest capitol, vei învăța cum gestionează inginerii de date diferite structuri de date, cum lucrează în SQL – limbajul de programare preferat pentru interogarea și stocarea datelor – și cum implementează soluții adecvate de stocare cu ajutorul lacurilor de date și al depozitelor de date.

Structuri de date

Structuri

Care e diferența

Baze de date SQL

Vom găsi răspunsul

Coloane

Rase diferite

Depozite de date și lacuri de date

Spune adevărul

Depozitul nostru de date (la mijlocul drumului)

Stocarea datelor

Inginerii de date le ușurează munca oamenilor de știință specializați în date, pregătind datele brute pentru analiză prin diferite tehnici de procesare aplicate în etape distincte. Aceste etape trebuie combinate pentru a crea pipeline-uri, moment în care intervine automatizarea. În plus, inginerii de date folosesc calculul paralel și cloud computing pentru a menține pipeline-urile în funcțiune fără întreruperi.

Procesarea datelor

Conectează punctele

Planificarea datelor

Tipuri de programare

Unul sau celălalt

Calcul paralel

Oricând, oriunde

Univers paralel

Cloud computing

Acoperit de nori

Fiecare la locul lui

Suntem campionii

Mutarea și procesarea datelor

Lexicon

Course Glossary: Understanding Data Engineering

În 2019, salariul mediu al inginerilor de date l-a depășit pe cel al oamenilor de știință specializați în date. Cum s-a întâmplat asta? Companiile care doreau să valorifice datele lor și-au dat seama că nu era posibil fără o infrastructură solidă. Inginerii de date pun bazele care fac posibilă știința datelor.
<br /> <br />
În acest curs, vei afla care sunt responsabilitățile principale ale unui inginer de date, cum diferă aceștia de oamenii de știință specializați în date și cum facilitează fluxul de date într-o organizație. Prin exerciții practice, vei urmări Spotflix, o companie fictivă de streaming muzical, pentru a înțelege cum inginerii lor de date colectează, curăță și cataloghează datele. La finalul cursului, vei înțelege ce fac inginerii de date din compania ta, vei fi pregătit să porți o conversație cu un inginer de date și vei avea o bază solidă pentru a-ți începe propriul parcurs în ingineria datelor.

Videourile conțin transcrieri live, accesibile făcând clic pe „Show transcript" în colțul din stânga jos al fiecărui video.

Glosarul cursului se găsește în dreapta, în secțiunea de resurse.

Pentru a obține credite CPE, trebuie să finalizezi cursul și să obții un scor de 70% la evaluarea calificată. Poți naviga la evaluare făcând clic pe notificarea CPE credits din dreapta.

<h2> Înțelege bazele ingineriei datelor </h2>
<br>
În acest curs, vei învăța despre responsabilitățile de bază ale unui inginer de date, cum diferă acestea de cele ale oamenilor de știință de date și cum să facilitezi fluxul de date într-o organizație. Prin exerciții practice, vei urmări Spotflix, o companie fictivă de streaming muzical, pentru a înțelege cum inginerii lor de date colectează, curăță și cataloghează datele. 
<br><br>
<h2> Aplică în cazuri personale</h2>
<br>
La finalul cursului, vei înțelege ce fac inginerii de date din compania ta, vei fi pregătit să porți o conversație cu un inginer de date și vei avea o bază solidă pentru a-ți începe propria călătorie ca inginer de date.

Descoperă cum inginerii de date pun bazele pentru știința datelor. Fără codare!

Înțelegerea ingineriei datelor

Descoperă cum inginerii de date pun bazele care fac posibilă știința datelor. Fără programare!

Inginer de date asociat în SQL

Analist de date în Databricks

Înțelegerea subiectelor de date

Extrage melodiile pe care Julian le-a ascultat cel mai mult în ultima lună

Găsește alți utilizatori care au ascultat aceleași melodii în mod frecvent

Încarcă doar primele 10 melodii pe care acești utilizatori le-au ascultat cel mai mult în ultima săptămână într-un tabel numit „Profiluri similare"

Extrage doar melodiile pe care acești utilizatori le ascultă și care aparțin aceluiași gen muzical cu cele din sesiunile de ascultare ale lui Julian. Acestea sunt recomandările noastre.

Încarcă melodiile recomandate într-un tabel nou. Acesta este Weekly Playlist-ul lui Julian!

Pipeline

Înțelegerea ingineriei datelor

Exercițiu interactiv practic