In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

What is data engineering?

Tasks of the data engineer

Data engineer or data scientist?

Data engineering problems

Tools of the data engineer

Kinds of databases

Processing tasks

Scheduling tools

Cloud providers

Why cloud computing?

Big players in cloud computing

Cloud services

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Databases

Associaties

NoSQL

SQL vs NoSQL

Het databaseschema

Joinen op relaties

Sterschema-diagram

Wat is parallel computing

Waarom parallel computing?

Van taak naar subtaken

Een DataFrame gebruiken

Frameworks voor parallelle berekeningen

Kaarten

Hadoop

PySpark

Hive

Spark, Hadoop en Hive

Een PySpark groupby

PySpark-bestanden uitvoeren

Frameworks voor het plannen van workflows

Airflow, Luigi en cron

Airflow-DAG's

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Course ratings

Exploring the schema

Querying the table

Average rating per course

From ratings to recommendations

Filter out corrupt data

Using the recommender transformation

Scheduling daily jobs

The target table

Defining the DAG

Enable the DAG

Querying the recommendations

Congratulations

Case Study: DataCamp

datacamp_application.sql

Heb je mensen weleens over data engineers horen praten en vraag je je af wat ze precies doen? Weet je wat data engineers doen, maar weet je niet goed hoe je er zelf een wordt? Deze cursus is de perfecte introductie. Je maakt kennis met alles wat je moet weten om je gegevensverwerking te stroomlijnen. Deze instapcursus geeft je genoeg context om de wereld van data engineering te gaan verkennen. Hij is ideaal voor iedereen die bij een bedrijf werkt met meerdere databronnen en geen duidelijk idee heeft hoe je al die bronnen op een schaalbare manier gebruikt. Wees de eerste die deze technieken introduceert bij je bedrijf en word de ster van het team.

Intermediate Python

Intermediate SQL

Begin vandaag met data-engineering. Leer in deze vier uur durende cursus over de wereld van data.

Frameworks voor het plannen van workflows

Create Your Free Account