In dit hoofdstuk leer je wat data engineering is en waarom de vraag naar data engineers toeneemt. Je ontdekt vervolgens waar data engineering zich bevindt binnen de data science-levenscyclus, hoe data engineers verschillen van data scientists, en krijgt een introductie tot je eerste volledige data pipeline.

Data engineering en big data

Data science-workflow

Ga met de stroom mee

Opties

Data-engineeringtaken

Geen data-engineeringtaken

Niet verantwoordelijk

Options

True

False

Big time

Data engineers vs. data scientists

Vertel me de waarheid

Data engineer

Data scientist

Wie doet wat

De datapijplijn

Dat is niet waar

Data-scienceworkflow

Pijplijn

Wat is data engineering?

Het is tijd om het te hebben over dataopslag—een van de belangrijkste verantwoordelijkheden van een data engineer. In dit hoofdstuk leer je hoe data engineers verschillende datastructuren beheren, werken in SQL—de programmeertaal bij uitstek voor het opvragen en opslaan van data, en geschikte dataopslagoplossingen implementeren met data lakes en data warehouses.

Datastructuren

Structuren

Wat is het verschil

SQL-databases

We can work it out

Kolommen

Verschillende types

Datawarehouses en datalakes

Zeg de waarheid

Ons warehouse (in the middle of our street)

Gegevens opslaan

Data engineers maken het leven van data scientists gemakkelijker door ruwe data voor te bereiden op analyse met behulp van verschillende verwerkingstechnieken in verschillende stappen. Deze stappen moeten worden gecombineerd om pipelines te creëren, en dat is het moment waarop automatisering een rol gaat spelen. Tot slot gebruiken data engineers parallelle en cloud computing om de pijplijnen soepel te laten verlopen.

Gegevens verwerken

Verbind de stippen

Data plannen

Planningen

Het een of het ander

Parallel computing

Wanneer dan ook

Parallel universum

Cloud computing

Verborgen in de wolken

Somewhere I belong

We are the champions

Gegevens verplaatsen en verwerken

Lexicon

Course Glossary: Understanding Data Engineering

In 2019 overtrof het gemiddelde salaris voor data engineers dat van data scientists. Hoe is dit gebeurd? Bedrijven die het goud in hun data willen vinden, realiseerden zich dat dit niet mogelijk was als ze de mijn nog niet hadden gebouwd. Data engineers leggen de fundamenten die data science mogelijk maken.
<br /> <br />
In deze cursus leer je over de kernverantwoordelijkheden van een data engineer, hoe deze verschillen van data scientists, en hoe zij de stroom van data binnen een organisatie faciliteren. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data engineers hun data verzamelen, opschonen en catalogiseren. Aan het einde van de cursus begrijp je wat de data engineers van jouw bedrijf doen, ben je klaar om een gesprek te voeren met een data engineer en heb je een solide basis om je eigen data engineer-reis te beginnen.

De video's bevatten live-transcripties, die je kunt openen door linksonder in de video's op "Show transcript" te klikken.

De cursuswoordenlijst vind je rechts in de sectie met resources.

Om CPE-credits te behalen, moet je de cursus afronden en minimaal 70% scoren op de gekwalificeerde toets. Je gaat naar de toets door aan de rechterkant op de knop met CPE-punten te klikken.

<h2> Begrijp de basis van data-engineering </h2>
<br>
In deze cursus leer je wat de belangrijkste taken van een data-engineer zijn, hoe ze verschillen van datawetenschappers en hoe ze de datastroom binnen een organisatie soepel laten verlopen. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data-engineers hun data verzamelen, opschonen en catalogiseren. 
<br><br>
<h2> Gebruik in persoonlijke situaties</h2>
<br>
Aan het einde van de cursus snap je wat de data-engineers van je bedrijf doen, ben je klaar om met een data-engineer te kletsen en heb je een stevige basis om je eigen data-engineer-avontuur te beginnen.

Ontdek hoe data-ingenieurs de basis leggen voor datawetenschap. Geen codering nodig!

Data Engineering begrijpen

Ontdek hoe data engineers de basis leggen die data science mogelijk maakt. Geen codering nodig!

Associate Data Engineer in SQL

Data-analist in Databricks

Inzicht in datakwesties

Zorgen dat mensen die de databases gebruiken niet per ongeluk muziekvideo’s kunnen verwijderen.

Luistersessiedata aanleveren zodat die met minimale voorbereiding geanalyseerd kan worden.

Java gebruiken om een pipeline te bouwen die albumhoezen verzamelt en opslaat.

Bepalen welke klanten waarschijnlijk hun Spotflix-abonnement beëindigen, zodat marketing hen gericht kan benaderen en stimuleren om te verlengen.

Uitzoeken in welke landen bepaalde artiesten populair zijn om hen inzicht te geven in waar ze het beste kunnen touren.

Python gebruiken om te analyseren of gebruikers de zoekbalk liever linksboven of rechtsboven in de Spotflix-desktopapp hebben.

Wie doet wat

Data Engineering begrijpen

Interactieve oefening met praktijkervaring