În acest capitol, vei afla ce este ingineria datelor și de ce cererea pentru ingineri de date este în creștere. Vei descoperi apoi locul ingineriei datelor în cadrul ciclului de viață al științei datelor, cum diferă inginerii de date de oamenii de știință specializați în date și vei avea o introducere în primul tău pipeline de date complet.

Ingineria datelor și big data

Urmează fluxul

Nu este responsabilitatea lor

La scară mare

Ingineri de date vs. oameni de știință ai datelor

Adevărul înainte de toate

Cine face ce

Fluxul de date

Aceasta nu este adevărată

Pipeline

Ce este ingineria datelor?

E momentul să vorbim despre stocarea datelor – una dintre responsabilitățile principale ale unui inginer de date. În acest capitol, vei învăța cum gestionează inginerii de date diferite structuri de date, cum lucrează în SQL – limbajul de programare preferat pentru interogarea și stocarea datelor – și cum implementează soluții adecvate de stocare cu ajutorul lacurilor de date și al depozitelor de date.

Structuri de date

Structuri

Opțiuni

Structurate

Semi-structurate

Nestructurate

Care e diferența

Baze de date SQL

Vom găsi răspunsul

Coloane

Ingineri de date

Om de știință al datelor

Rase diferite

Depozite de date și lacuri de date

Spune adevărul

Un data lake

Un data warehouse

Depozitul nostru de date (la mijlocul drumului)

Stocarea datelor

Inginerii de date le ușurează munca oamenilor de știință specializați în date, pregătind datele brute pentru analiză prin diferite tehnici de procesare aplicate în etape distincte. Aceste etape trebuie combinate pentru a crea pipeline-uri, moment în care intervine automatizarea. În plus, inginerii de date folosesc calculul paralel și cloud computing pentru a menține pipeline-urile în funcțiune fără întreruperi.

Procesarea datelor

Conectează punctele

Planificarea datelor

Tipuri de programare

Unul sau celălalt

Calcul paralel

Oricând, oriunde

Univers paralel

Cloud computing

Acoperit de nori

Fiecare la locul lui

Suntem campionii

Mutarea și procesarea datelor

Lexicon

Course Glossary: Understanding Data Engineering

În 2019, salariul mediu al inginerilor de date l-a depășit pe cel al oamenilor de știință specializați în date. Cum s-a întâmplat asta? Companiile care doreau să valorifice datele lor și-au dat seama că nu era posibil fără o infrastructură solidă. Inginerii de date pun bazele care fac posibilă știința datelor.
<br /> <br />
În acest curs, vei afla care sunt responsabilitățile principale ale unui inginer de date, cum diferă aceștia de oamenii de știință specializați în date și cum facilitează fluxul de date într-o organizație. Prin exerciții practice, vei urmări Spotflix, o companie fictivă de streaming muzical, pentru a înțelege cum inginerii lor de date colectează, curăță și cataloghează datele. La finalul cursului, vei înțelege ce fac inginerii de date din compania ta, vei fi pregătit să porți o conversație cu un inginer de date și vei avea o bază solidă pentru a-ți începe propriul parcurs în ingineria datelor.

Videourile conțin transcrieri live, accesibile făcând clic pe „Show transcript" în colțul din stânga jos al fiecărui video.

Glosarul cursului se găsește în dreapta, în secțiunea de resurse.

Pentru a obține credite CPE, trebuie să finalizezi cursul și să obții un scor de 70% la evaluarea calificată. Poți naviga la evaluare făcând clic pe notificarea CPE credits din dreapta.

<h2> Înțelege bazele ingineriei datelor </h2>
<br>
În acest curs, vei învăța despre responsabilitățile de bază ale unui inginer de date, cum diferă acestea de cele ale oamenilor de știință de date și cum să facilitezi fluxul de date într-o organizație. Prin exerciții practice, vei urmări Spotflix, o companie fictivă de streaming muzical, pentru a înțelege cum inginerii lor de date colectează, curăță și cataloghează datele. 
<br><br>
<h2> Aplică în cazuri personale</h2>
<br>
La finalul cursului, vei înțelege ce fac inginerii de date din compania ta, vei fi pregătit să porți o conversație cu un inginer de date și vei avea o bază solidă pentru a-ți începe propria călătorie ca inginer de date.

Descoperă cum inginerii de date pun bazele pentru știința datelor. Fără codare!

Înțelegerea ingineriei datelor

Descoperă cum inginerii de date pun bazele care fac posibilă știința datelor. Fără programare!

Inginer de date asociat în SQL

Analist de date în Databricks

Înțelegerea subiectelor de date

Crearea unui tabel nou pentru a stoca melodiile ascultate cel mai des de utilizatori în ultimul an.

Actualizarea tabelului unui artist după ce acesta și-a modificat biografia.

Modificarea întregului tabel de melodii pentru a elimina spațiile introduse din greșeală în fața titlurilor.

Interogarea celor mai populare melodii din ultimul an pentru a identifica ce gen a dominat.

Interogarea tabelului de versuri pentru a găsi toate melodiile care conțin „data" în titlu.

Interogarea tabelului de artiști pentru a găsi toate trupele din Franța.

Rase diferite

Înțelegerea ingineriei datelor

Exercițiu interactiv practic