In dit hoofdstuk leer je wat data engineering is en waarom de vraag ernaar toeneemt. Je ontdekt vervolgens waar data engineering past binnen de levenscyclus van data science, hoe data engineers verschillen van data scientists, en je krijgt een introductie tot je eerste complete datapipe­line.

Data engineering en big data

Ga met de stroom mee

Niet verantwoordelijk

Big time

Data engineers vs. data scientists

Vertel me de waarheid

Wie doet wat

De datapijplijn

Dit klopt niet

Pijplijn

Wat is data engineering?

Tijd om het te hebben over dataopslag—een van de belangrijkste verantwoordelijkheden van een data engineer. In dit hoofdstuk leer je hoe data engineers met verschillende datastructuren omgaan, werken met SQL—de programmeertaal bij uitstek voor het opvragen en opslaan van data—en passende opslagoplossingen inzetten met data lakes en data warehouses.

Datastructuren

Structuren

Wat is het verschil

SQL-databases

We can work it out

Kolommen

Verschillende soorten

Datawarehouses en datalakes

Zeg wat waar is

Our warehouse (in the middle of our street)

Data opslaan

Data engineers maken het leven van data scientists makkelijker door ruwe data klaar te maken voor analyse met verschillende verwerkingstechnieken in verschillende stappen. Deze stappen moeten worden gecombineerd tot pipelines; dan komt automatisering om de hoek kijken. Tot slot gebruiken data engineers parallelle en cloudcomputing om pipelines soepel te laten verlopen.

Gegevens verwerken

Options

Extract

Transform

Load

Verbind de punten

Data plannen

Opties

Handmatig

Tijd

Voorwaarde

Planningen

Batch

Stream

Het een of het ander

Parallel computing

Wanneer dan ook

Juist

Onjuist

Parallel universum

Cloud computing

Right

Wrong

Obscured by clouds

Computing

Databases

Somewhere I belong

We are the champions

Data verplaatsen en verwerken

Lexicon

Course Glossary: Understanding Data Engineering

In 2019 haalden data engineers data scientists in qua gemiddeld salaris. Hoe komt dat? Bedrijven die het goud uit hun data willen halen, realiseerden zich dat dat niet kan als de mijn nog niet is gebouwd. Data engineers leggen de basis die data science mogelijk maakt.
<br /> <br />
In deze cursus leer je wat de kerntaken van een data engineer zijn, hoe ze verschillen van data scientists en hoe ze de datastroom binnen een organisatie faciliteren. Met praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data engineers data verzamelen, opschonen en catalogiseren. Aan het einde van de cursus weet je wat de data engineers van jouw bedrijf doen, ben je klaar om met een data engineer in gesprek te gaan en heb je een stevige basis om je eigen data-engineerreis te starten.

De video's bevatten live-transcripties. Je opent die door linksonder in de video op "Transcriptie" te klikken.

De cursuswoordenlijst vind je rechts in de sectie met bronnen.

Om CPE-credits te behalen, moet je de cursus afronden en minimaal 70% scoren op de gekwalificeerde toets. Je gaat naar de toets via de CPE-creditsverwijzing aan de rechterkant.

<h2> Begrijp de basis van data-engineering </h2>
<br>
In deze cursus leer je wat de belangrijkste taken van een data-engineer zijn, hoe ze verschillen van datawetenschappers en hoe ze de datastroom binnen een organisatie soepel laten verlopen. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data-engineers hun data verzamelen, opschonen en catalogiseren. 
<br><br>
<h2> Gebruik in persoonlijke situaties</h2>
<br>
Aan het einde van de cursus snap je wat de data-engineers van je bedrijf doen, ben je klaar om met een data-engineer te kletsen en heb je een stevige basis om je eigen data-engineer-avontuur te beginnen.

Ontdek hoe data-ingenieurs de basis leggen voor datawetenschap. Geen codering nodig!

Inzicht in data engineering

Ontdek hoe data engineers de basis leggen die data science mogelijk maakt. Geen codering nodig!

Associate Data Engineer in SQL

Data-analist in Databricks

Inzicht in datakwesties

De pipeline voor het encoderen van nummers draaien, omdat engineering de encoder heeft gewijzigd en wil controleren of de validatiecheck nog steeds slaagt.

De Spotflix Weekly Playlist uit Hoofdstuk 1 elke maandag om 00:00 uur genereren.

Muziekvideo's die door artiesten zijn geüpload elk uur verwerken.

Elke ochtend gegevens uit Google Analytics verzamelen om te checken hoe de promotiecampagne loopt.

Validatiechecks uitvoeren als er nieuwe video's worden verzameld.

Het aantal volgers in een afspeellijsttabel bijwerken nadat een gebruiker zich erop heeft geabonneerd.

Planningen

Inzicht in data engineering

Interactieve oefening met praktijkervaring