In dit hoofdstuk leer je wat data engineering is en waarom de vraag ernaar toeneemt. Je ontdekt vervolgens waar data engineering past binnen de levenscyclus van data science, hoe data engineers verschillen van data scientists, en je krijgt een introductie tot je eerste complete datapipe­line.

Data engineering en big data

Ga met de stroom mee

Niet verantwoordelijk

Big time

Data engineers vs. data scientists

Vertel me de waarheid

Wie doet wat

De datapijplijn

Dit klopt niet

Pijplijn

Wat is data engineering?

Tijd om het te hebben over dataopslag—een van de belangrijkste verantwoordelijkheden van een data engineer. In dit hoofdstuk leer je hoe data engineers met verschillende datastructuren omgaan, werken met SQL—de programmeertaal bij uitstek voor het opvragen en opslaan van data—en passende opslagoplossingen inzetten met data lakes en data warehouses.

Datastructuren

Structuren

Opties

Gestructureerd

Semigestructureerd

Ongestructureerd

Wat is het verschil

SQL-databases

We can work it out

Kolommen

Data engineers

Data scientist

Verschillende soorten

Datawarehouses en datalakes

Zeg wat waar is

Een data lake

Een data warehouse

Our warehouse (in the middle of our street)

Data opslaan

Data engineers maken het leven van data scientists makkelijker door ruwe data klaar te maken voor analyse met verschillende verwerkingstechnieken in verschillende stappen. Deze stappen moeten worden gecombineerd tot pipelines; dan komt automatisering om de hoek kijken. Tot slot gebruiken data engineers parallelle en cloudcomputing om pipelines soepel te laten verlopen.

Gegevens verwerken

Verbind de punten

Data plannen

Planningen

Het een of het ander

Parallel computing

Wanneer dan ook

Parallel universum

Cloud computing

Obscured by clouds

Somewhere I belong

We are the champions

Data verplaatsen en verwerken

Lexicon

Course Glossary: Understanding Data Engineering

In 2019 haalden data engineers data scientists in qua gemiddeld salaris. Hoe komt dat? Bedrijven die het goud uit hun data willen halen, realiseerden zich dat dat niet kan als de mijn nog niet is gebouwd. Data engineers leggen de basis die data science mogelijk maakt.
<br /> <br />
In deze cursus leer je wat de kerntaken van een data engineer zijn, hoe ze verschillen van data scientists en hoe ze de datastroom binnen een organisatie faciliteren. Met praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data engineers data verzamelen, opschonen en catalogiseren. Aan het einde van de cursus weet je wat de data engineers van jouw bedrijf doen, ben je klaar om met een data engineer in gesprek te gaan en heb je een stevige basis om je eigen data-engineerreis te starten.

De video's bevatten live-transcripties. Je opent die door linksonder in de video op "Transcriptie" te klikken.

De cursuswoordenlijst vind je rechts in de sectie met bronnen.

Om CPE-credits te behalen, moet je de cursus afronden en minimaal 70% scoren op de gekwalificeerde toets. Je gaat naar de toets via de CPE-creditsverwijzing aan de rechterkant.

<h2> Begrijp de basis van data-engineering </h2>
<br>
In deze cursus leer je wat de belangrijkste taken van een data-engineer zijn, hoe ze verschillen van datawetenschappers en hoe ze de datastroom binnen een organisatie soepel laten verlopen. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data-engineers hun data verzamelen, opschonen en catalogiseren. 
<br><br>
<h2> Gebruik in persoonlijke situaties</h2>
<br>
Aan het einde van de cursus snap je wat de data-engineers van je bedrijf doen, ben je klaar om met een data-engineer te kletsen en heb je een stevige basis om je eigen data-engineer-avontuur te beginnen.

Ontdek hoe data-ingenieurs de basis leggen voor datawetenschap. Geen codering nodig!

Inzicht in data engineering

Ontdek hoe data engineers de basis leggen die data science mogelijk maakt. Geen codering nodig!

Associate Data Engineer in SQL

Data-analist in Databricks

Inzicht in datakwesties

Een nieuwe tabel maken om de nummers op te slaan die klanten het afgelopen jaar het meest hebben beluisterd.

De tabel van een artiest bijwerken nadat diegene zijn of haar biografie heeft aangepast.

De volledige tabel met nummers aanpassen om spaties aan het begin van de titel te verwijderen die per ongeluk zijn ingevoerd.

De topnummers van het afgelopen jaar opvragen om te bepalen welk genre overheerste.

De tabel met songteksten opvragen om alle nummers te vinden met 'data' in de titel.

De artiestentabel opvragen om alle bands te vinden die uit Frankrijk komen.

Verschillende soorten

Inzicht in data engineering

Interactieve oefening met praktijkervaring