In this first chapter, you will be exposed to the world of data engineering! Explore the differences between a data engineer and a data scientist, get an overview of the various tools data engineers use and expand your understanding of how cloud technology plays a role in data engineering. 

What is data engineering?

Tasks of the data engineer

Data engineer or data scientist?

Data engineering problems

Tools of the data engineer

Kinds of databases

Processing tasks

Scheduling tools

Cloud providers

Why cloud computing?

Big players in cloud computing

Cloud services

Introduction to Data Engineering

Now that you know the primary differences between a data engineer and a data scientist, get ready to explore the data engineer's toolbox! Learn in detail about different types of databases data engineers use, how parallel computing is a cornerstone of the data engineer's toolkit, and how to schedule data processing jobs using scheduling frameworks.

Databases

SQL vs NoSQL

The database schema

Joining on relations

Star schema diagram

What is parallel computing

Why parallel computing?

From task to subtasks

Using a DataFrame

Parallel computation frameworks

Spark, Hadoop and Hive

A PySpark groupby

Running PySpark files

Workflow scheduling frameworks

Airflow, Luigi and cron

Airflow DAGs

Data engineering toolbox

Having been exposed to the toolbox of data engineers, it's now time to jump into the bread and butter of a data engineer's workflow! With ETL, you will learn how to extract raw data from various sources, transform this raw data into actionable insights, and load it into relevant databases ready for consumption! 

Extract

Data sources

Fetch from an API

Read from a database

Transform

Splitting the rental rate

Prepare for transformations

Joining with ratings

Loading

OLAP or OLTP

Writing to a file

Load into Postgres

Putting it all together

Defining a DAG

Setting up Airflow

Interpreting the DAG

Extract, Transform and Load (ETL)

Cap off all that you've learned in the previous three chapters by completing a real-world data engineering use case from DataCamp! You will perform and schedule an ETL process that transforms raw course rating data, into actionable course recommendations for DataCamp students! 

Notes des cours

Explorer le schéma

Interroger la table

Note moyenne par cours

Des évaluations aux recommandations

Filtrer les données corrompues

Utiliser la transformation de recommandation

Planifier des tâches quotidiennes

La table cible

Définir le DAG

Activer le DAG

Interroger les recommandations

Félicitations

Case Study: DataCamp

datacamp_application.sql

Vous avez entendu parler des data engineers et vous vous demandez ce qu’ils font concrètement ? Vous savez en quoi consiste leur métier, mais vous ne voyez pas comment le devenir vous-même ? Ce cours est l’introduction idéale. Il couvre tout ce qu’il faut savoir pour fluidifier vos traitements de données. Ce cours d’initiation vous donnera le contexte nécessaire pour commencer à explorer le monde du data engineering. Il est parfait pour celles et ceux qui travaillent dans une entreprise avec plusieurs sources de données et qui n’ont pas encore une vision claire de la manière de les exploiter à l’échelle. Soyez la première personne à introduire ces techniques dans votre entreprise et devenez l’employé·e star.

<h2>Débutez dans l'ingénierie des données</h2> 
Vous êtes curieux de faire carrière dans l'ingénierie des données, mais vous ne savez pas par où commencer ? Ou peut-être souhaitez-vous obtenir davantage d'informations sur le travail des ingénieurs en données avant de passer à l'étape suivante ? Ce cours de quatre heures est une introduction à l'ingénierie des données et aux concepts, techniques et outils de base que vous devez comprendre pour faire ce travail.
<br><br> 
<h2>Apprenez les concepts et les techniques de l'ingénierie des données</h2> 
Vous commencerez par apprendre les différences entre un ingénieur de données et un data scientist (et comment ils travaillent ensemble) avant d'en savoir plus sur les outils du métier, en parlant spécifiquement du cloud computing et du calcul parallèle. À la fin du deuxième chapitre, vous comprendrez les applications de SQL et NoSQL, l'utilisation des DataFrame, et pourquoi l'informatique parallèle est si importante.
<br><br> 
<h2>Effectuez l'ETL dans le cadre d'exercices pratiques</h2> 
Le processus ETL est au cœur du travail de l'ingénieur des données. Vous apprendrez comment les données sont extraites, transformées et chargées afin d'être prêtes pour l'analyse et la production d'informations. À la fin du cours, vous mettrez toutes ces connaissances en pratique en exécutant et en planifiant vous-même un processus ETL à l'aide de données réelles.
<br><br> 
Nos exercices et nos tests interactifs vous permettent de réviser et de consolider vos nouvelles connaissances, afin que vous puissiez en discuter et les appliquer en toute confiance une fois que vous aurez reçu votre attestation de réussite.
<br><br> 
Ce cours d'introduction fait partie d'un cursus d'ingénierie des données, qui vous offre des voies pour améliorer votre compréhension de l'ingénierie des données et un ensemble clair de prochaines étapes pour devenir un ingénieur de données professionnel.

Intermediate Python

Intermediate SQL

Commencez à devenir ingénieur en données aujourd'hui avec ce cours de quatre heures.

Introduction au data engineering

Découvrez l’ingénierie des données dans un format condensé : ETL, cloud computing et outils clés au programme. 

Explorer le schéma

Exercice interactif pratique