In this chapter, you’ll learn what data engineering is and why demand for them is increasing. You’ll then discover where data engineering sits in relation to the data science lifecycle, how data engineers differ from data scientists, and have an introduction to your first complete data pipeline.

Data engineering and big data

Go with the flow

Not responsible

Big time

Data engineers vs. data scientists

Tell me the truth

Who is it

The data pipeline

It's not true

Pipeline

What is data engineering?

It’s time to talk about data storage—one of the main responsibilities for a data engineer. In this chapter, you’ll learn how data engineers manage different data structures, work in SQL—the programming language of choice for querying and storing data, and implement appropriate data storage solutions with data lakes and data warehouses.

Datastructuren

Structuren

Options

Structured

Semi-structured

Unstructured

Wat is het verschil

SQL-databases

We can work it out

Kolommen

Opties

Data engineers

Data scientist

Verschillende types

Datawarehouses en datalakes

Zeg de waarheid

Een data lake

Een data warehouse

Ons warehouse (in the middle of our street)

Storing data

Data engineers make life easy for data scientists by preparing raw data for analysis using different processing techniques at different steps. These steps need to be combined to create pipelines, which is when automation comes into play. Finally, data engineers use parallel and cloud computing to keep pipelines flowing smoothly.

Processing data

Connect the dots

Scheduling data

Schedules

One or the other

Parallel computing

Whenever, whenever

Parallel universe

Cloud computing

Obscured by clouds

Somewhere I belong

We are the champions

Moving and processing data

Lexicon

Course Glossary: Understanding Data Engineering

In 2019 overtrof het gemiddelde salaris voor data engineers dat van data scientists. Hoe is dit gebeurd? Bedrijven die het goud in hun data willen vinden, realiseerden zich dat dit niet mogelijk was als ze de mijn nog niet hadden gebouwd. Data engineers leggen de fundamenten die data science mogelijk maken.
<br /> <br />
In deze cursus leer je over de kernverantwoordelijkheden van een data engineer, hoe deze verschillen van data scientists, en hoe zij de stroom van data binnen een organisatie faciliteren. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data engineers hun data verzamelen, opschonen en catalogiseren. Aan het einde van de cursus begrijp je wat de data engineers van jouw bedrijf doen, ben je klaar om een gesprek te voeren met een data engineer en heb je een solide basis om je eigen data engineer-reis te beginnen.

De video's bevatten live-transcripties, die je kunt openen door linksonder in de video's op "Show transcript" te klikken.

De cursuswoordenlijst vind je rechts in de sectie met resources.

Om CPE-credits te behalen, moet je de cursus afronden en minimaal 70% scoren op de gekwalificeerde toets. Je gaat naar de toets door aan de rechterkant op de knop met CPE-punten te klikken.

<h2> Begrijp de basis van data-engineering </h2>
<br>
In deze cursus leer je wat de belangrijkste taken van een data-engineer zijn, hoe ze verschillen van datawetenschappers en hoe ze de datastroom binnen een organisatie soepel laten verlopen. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data-engineers hun data verzamelen, opschonen en catalogiseren. 
<br><br>
<h2> Gebruik in persoonlijke situaties</h2>
<br>
Aan het einde van de cursus snap je wat de data-engineers van je bedrijf doen, ben je klaar om met een data-engineer te kletsen en heb je een stevige basis om je eigen data-engineer-avontuur te beginnen.

Ontdek hoe data-ingenieurs de basis leggen voor datawetenschap. Geen codering nodig!

Data Engineering begrijpen

Ontdek hoe data engineers de basis leggen die data science mogelijk maakt. Geen codering nodig!

Associate Data Engineer in SQL

Data-analist in Databricks

Inzicht in datakwesties

Is makkelijk te doorzoeken en te organiseren.

Is redelijk makkelijk te doorzoeken en te organiseren.

Volgt een model, maar biedt meer flexibiliteit dan gestructureerde data.

Is lastig te doorzoeken en te organiseren.

Wat is het verschil

Data Engineering begrijpen

Interactieve oefening met praktijkervaring