In this chapter, you’ll learn what data engineering is and why demand for them is increasing. You’ll then discover where data engineering sits in relation to the data science lifecycle, how data engineers differ from data scientists, and have an introduction to your first complete data pipeline.

Data engineering and big data

Go with the flow

Not responsible

Big time

Data engineers vs. data scientists

Tell me the truth

Who is it

The data pipeline

It's not true

Pipeline

What is data engineering?

It’s time to talk about data storage—one of the main responsibilities for a data engineer. In this chapter, you’ll learn how data engineers manage different data structures, work in SQL—the programming language of choice for querying and storing data, and implement appropriate data storage solutions with data lakes and data warehouses.

Data structures

Structures

What's the difference

SQL databases

We can work it out

Columns

Different breeds

Data warehouses and data lakes

Tell the truth

Our warehouse (in the middle of our street)

Storing data

Data engineers make life easy for data scientists by preparing raw data for analysis using different processing techniques at different steps. These steps need to be combined to create pipelines, which is when automation comes into play. Finally, data engineers use parallel and cloud computing to keep pipelines flowing smoothly.

Gegevens verwerken

Options

Extract

Transform

Load

Verbind de stippen

Data plannen

Opties

Handmatig

Tijd

Voorwaarde

Planningen

Batch

Stream

Het een of het ander

Parallel computing

Wanneer dan ook

Juist

Onjuist

Parallel universum

Cloud computing

Verborgen in de wolken

Computing

Databases

Somewhere I belong

We are the champions

Moving and processing data

Lexicon

Course Glossary: Understanding Data Engineering

In 2019 overtrof het gemiddelde salaris van data engineers dat van data scientists. Hoe kwam dat? Bedrijven die het goud in hun data wilden vinden, beseften dat dit niet kon als de mijn nog niet gebouwd was. Data engineers leggen de basis die data science mogelijk maakt.
<br /> <br />
In deze cursus leer je over de kerntaken van een data engineer, hoe die verschillen van die van data scientists en hoe ze de datastroom door een organisatie faciliteren. Met praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te zien hoe hun data engineers data verzamelen, opschonen en catalogiseren. Aan het einde van de cursus weet je wat de data engineers in jouw bedrijf doen, ben je klaar om met een data engineer in gesprek te gaan en heb je een stevige basis om je eigen data-engineertraject te starten.

De video's bevatten live-transcripts, die je kunt openen door linksonder in de video op "Show transcript" te klikken.

De verklarende woordenlijst van de cursus vind je rechts in de sectie met bronnen.

Om CPE-credits te behalen, moet je de cursus voltooien en een score van 70% halen op de gekwalificeerde toets. Je kunt naar de toets navigeren door te klikken op de CPE-credits-callout aan de rechterkant.

<h2> Begrijp de basis van data-engineering </h2>
<br>
In deze cursus leer je wat de belangrijkste taken van een data-engineer zijn, hoe ze verschillen van datawetenschappers en hoe ze de datastroom binnen een organisatie soepel laten verlopen. Door middel van praktische oefeningen volg je Spotflix, een fictief muziekstreamingbedrijf, om te begrijpen hoe hun data-engineers hun data verzamelen, opschonen en catalogiseren. 
<br><br>
<h2> Gebruik in persoonlijke situaties</h2>
<br>
Aan het einde van de cursus snap je wat de data-engineers van je bedrijf doen, ben je klaar om met een data-engineer te kletsen en heb je een stevige basis om je eigen data-engineer-avontuur te beginnen.

Ontdek hoe data-ingenieurs de basis leggen voor datawetenschap. Geen codering nodig!

Data Engineering begrijpen

Associate Data Engineer in SQL

Data-analist in Databricks

Inzicht in datakwesties

De pipeline voor song-encoding draaien, omdat engineering de encoder heeft aangepast en wil controleren of deze nog steeds door de validatie komt.

De Spotflix Weekly Playlist uit Hoofdstuk 1 elke maandag om 00:00 uur genereren.

Muziekvideo’s die door artiesten zijn geüpload elk uur verwerken.

Elke ochtend gegevens uit Google Analytics verzamelen om te controleren hoe de promotiecampagne loopt.

Validatiecontroles uitvoeren als er nieuwe video’s worden verzameld.

Het aantal volgers in een afspeellijsttabel bijwerken nadat een gebruiker zich erop heeft geabonneerd.

Planningen

Data Engineering begrijpen

Praktische interactieve oefening