In dit eerste hoofdstuk maak je kennis met de wereld van data engineering! Ontdek de verschillen tussen een data engineer en een data scientist, krijg een overzicht van de verschillende tools die data engineers gebruiken, en vergroot je begrip van de rol van cloudtechnologie binnen data engineering.

Wat is data engineering?

Taken van de data engineer

Data engineer of data scientist?

Problemen in data engineering

Tools van de data engineer

Soorten databases

Verwerkingstaken

Planningshulpmiddelen

Cloudproviders

Waarom cloud computing?

Grote spelers in cloud computing

Cloudservices

Introductie tot Data Engineering

Nu je de belangrijkste verschillen tussen een data engineer en een data scientist kent, is het tijd om de gereedschapskist van de data engineer te verkennen! Leer in detail over verschillende typen databases die data engineers gebruiken, hoe parallelle verwerking een hoeksteen is van hun toolkit, en hoe je verwerkingsjobs inplant met planningsframeworks.

Databases

Associaties

NoSQL

SQL vs NoSQL

Het databaseschema

Joinen op relaties

Sterschema-diagram

Wat is parallel computing

Waarom parallel computing?

Van taak naar subtaken

Een DataFrame gebruiken

Frameworks voor parallelle berekeningen

Kaarten

Hadoop

PySpark

Hive

Spark, Hadoop en Hive

Een PySpark groupby

PySpark-bestanden uitvoeren

Frameworks voor het plannen van workflows

Airflow, Luigi en cron

Airflow-DAG's

Data engineering-gereedschapskist

Na de gereedschapskist van data engineers te hebben verkend, is het nu tijd voor de kern van de workflow van een data engineer! Met ETL leer je hoe je ruwe data uit verschillende bronnen extraheert, deze ruwe data transformeert naar bruikbare inzichten, en ze laadt in relevante databases die klaar zijn voor gebruik.

Extract

Databronnen

Data ophalen via een API

Lezen uit een database

Transformeren

De huurprijs opsplitsen

Voorbereiden op transformaties

Joinen met ratings

Laden

OLAP of OLTP

Schrijven naar een bestand

Laden in Postgres

Alles samenbrengen

Een DAG definiëren

Airflow instellen

De DAG interpreteren

Extract, Transform and Load (ETL)

Rond alles wat je in de eerste drie hoofdstukken hebt geleerd af met een realistische data-engineeringusecase van DataCamp! Je voert een ETL-proces uit en plant dit in, waarmee je ruwe cursusbeoordelingsdata omzet naar bruikbare cursusaanbevelingen voor DataCamp-studenten!

Cursusbeoordelingen

De schema's verkennen

De tabel bevragen

Gemiddelde beoordeling per cursus

Van beoordelingen naar aanbevelingen

Filter corrupte data eruit

De aanbevelingstransformatie gebruiken

Dagelijkse jobs plannen

De doeltabel

De DAG definiëren

Schakel de DAG in

De aanbevelingen opvragen

Gefeliciteerd

Casestudy: DataCamp

datacamp_application.sql

Heb je mensen weleens over data engineers horen praten en vraag je je af wat ze precies doen? Weet je wat data engineers doen, maar weet je niet goed hoe je er zelf een wordt? Deze cursus is de perfecte introductie. Je maakt kennis met alles wat je moet weten om je gegevensverwerking te stroomlijnen. Deze instapcursus geeft je genoeg context om de wereld van data engineering te gaan verkennen. Hij is ideaal voor iedereen die bij een bedrijf werkt met meerdere databronnen en geen duidelijk idee heeft hoe je al die bronnen op een schaalbare manier gebruikt. Wees de eerste die deze technieken introduceert bij je bedrijf en word de ster van het team.

Intermediate Python

Intermediate SQL

Begin vandaag met data-engineering. Leer in deze vier uur durende cursus over de wereld van data.

Leer meer over de wereld van data engineering in deze korte cursus, waarin tools en onderwerpen zoals ETL en cloud computing aan bod komen. 

Sterschema-diagram

Introductie tot Data Engineering

Interactieve oefening met praktijkervaring