Dans ce chapitre, vous apprendrez ce qu'est l'ingénierie des données et pourquoi la demande pour ces profils augmente. Vous verrez ensuite où l'ingénierie des données se situe dans le cycle de vie de la science des données, en quoi les ingénieur·e·s diffèrent des scientifiques des données, et vous serez initié·e à votre premier pipeline de données complet.

L'ingénierie des données et les mégadonnées

Allez avec le flot

Pas responsable

Gros calibre

Ingénieurs de données vs scientifiques des données

Dites-moi la vérité

Qui fait quoi

Le pipeline de données

Ce n'est pas vrai

Pipeline

Qu'est-ce que l'ingénierie des données?

Il est temps de parler de l'entreposage des données — l'une des principales responsabilités d'un·e ingénieur·e de données. Dans ce chapitre, vous verrez comment les ingénieur·e·s de données gèrent différentes structures de données, travaillent en SQL — le langage de programmation privilégié pour interroger et stocker des données — et mettent en place des solutions d'entreposage adaptées avec des lacs de données et des entrepôts de données.

Structures de données

Structures

Quelle est la différence

Bases de données SQL

On peut y arriver

Colonnes

Différents profils

Entrepôts de données et lacs de données

Dites la vérité

Notre entrepôt (au milieu de notre rue)

Stocker les données

Les ingénieur·e·s de données facilitent la vie des scientifiques des données en préparant les données brutes pour l'analyse au moyen de différentes techniques de traitement, à différentes étapes. Ces étapes doivent être combinées pour créer des pipelines, ce qui introduit l'automatisation. Enfin, les ingénieur·e·s de données recourent au calcul parallèle et à l'infonuagique pour assurer la fluidité des pipelines.

Traitement des données

Options

Extract

Transform

Load

Relier les points

Planification des données

Manuel

Horaire

Condition

Horaires

Traitement par lots

Diffusion en continu

L'un ou l'autre

Calcul parallèle

N'importe quand, vraiment?

Correct

Incorrect

Univers parallèle

Infonuagique

Juste

Faux

Dissimulé par les nuages

Calcul

Bases de données

Somewhere I belong

Nous sommes les champions

Déplacer et traiter les données

Lexicon

Course Glossary: Understanding Data Engineering

En 2019, le salaire moyen des ingénieur·e·s de données a dépassé celui des scientifiques des données. Comment en est-on arrivé là? Les entreprises désireuses d'exploiter la valeur de leurs données ont compris qu'elles ne pouvaient pas le faire sans avoir d'abord bâti l'infrastructure. Les ingénieur·e·s de données posent les fondations qui rendent la science des données possible.
<br /> <br />
Dans ce cours, vous découvrirez les principales responsabilités d'un·e ingénieur·e de données, en quoi son rôle diffère de celui d'un·e scientifique des données et comment il ou elle facilite la circulation des données au sein d'une organisation. Au moyen d'exercices pratiques, vous suivrez Spotflix, une entreprise fictive de diffusion de musique en continu, pour comprendre comment ses ingénieur·e·s de données recueillent, nettoient et consignent leurs données. À la fin du cours, vous saurez ce que font les ingénieur·e·s de données de votre entreprise, serez prêt·e à échanger avec un·e ingénieur·e de données et disposerez d'une base solide pour amorcer votre propre parcours en ingénierie des données.

Les vidéos contiennent des transcriptions en direct, accessibles en cliquant sur « Show transcript » au bas à gauche des vidéos.

Le glossaire du cours se trouve à droite, dans la section Ressources.

Pour obtenir des crédits de FPC, vous devez terminer le cours et atteindre un résultat de 70 % à l'évaluation admissible. Vous pouvez accéder à l'évaluation en cliquant sur l'encadré des crédits de FPC à droite.

<h2> Comprendre les bases de l’ingénierie des données </h2>
<br>
Dans ce cours, vous allez découvrir les principales responsabilités d’un ingénieur de données, en quoi elles diffèrent de celles d’un expert en science des données et comment elles facilitent le flux de données au sein d’une organisation. Grâce à des exercices pratiques, vous allez suivre Spotflix, une société fictive de streaming musical, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. 
<br><br>
<h2> Appliquer dans des cas personnels</h2>
<br>
À la fin de la formation, vous saurez ce que font les ingénieurs de données de votre entreprise, serez prêt à discuter avec eux et disposerez d'une base solide pour commencer votre propre parcours d'ingénieur de données.

Découvrez comment les ingénieurs de données préparent le terrain pour la science des données.

Comprendre l'ingénierie des données

Les ingénieurs de données posent les bases qui rendent possible la science des données. Pas de codage requis !

Ingénieur de données associé en SQL

Analyste de données dans Databricks

Comprendre les sujets liés aux données

Exécuter le pipeline d'encodage des chansons, parce que l'équipe d'ingénierie a modifié l'encodeur et veut s'assurer qu'il passe encore la vérification de validation.

Générer la liste de lecture hebdomadaire de Spotflix du chapitre 1 chaque lundi à 00 h 00.

Traiter les vidéoclips téléversés par les artistes à chaque heure.

Recueillir les données de Google Analytics chaque matin pour vérifier l'avancement de la campagne de promotion.

Exécuter des vérifications de validation si de nouvelles vidéos sont en cours de collecte.

Mettre à jour le nombre d'abonnés dans une table de listes de lecture après qu'une personne s'y est abonnée.

Horaires

Comprendre l'ingénierie des données

Exercice interactif pratique