Dans ce chapitre, vous allez apprendre ce qu’est l’ingénierie des données et pourquoi la demande en la matière est en augmentation. Vous découvrirez ensuite où se situe l’ingénierie des données dans le cycle de vie de la science des données, en quoi les ingénieurs de données diffèrent des data scientists, et vous découvrirez votre premier pipeline de données complet.

Ingénierie des données et big data

Suivez le mouvement

Non responsable

Big time

Ingénieurs de données vs data scientists

Tell me the truth

De qui s’agit-il ?

Pipeline de données

Ce n’est pas ça

Pipeline

Qu’est-ce que l’ingénierie des données ?

Il est temps de parler du stockage des données, l’une des principales responsabilités de l’ingénieur de données. Dans ce chapitre, vous apprendrez comment les ingénieurs de données gèrent différentes structures de données, travaillent avec le SQL, le langage de programmation privilégié pour l'interrogation et le stockage des données, et mettent en œuvre des solutions de stockage de données appropriées avec les lacs de données et les entrepôts de données.

Structures de données

Structures

Quelle est la différence ?

Bases de données SQL

We can work it out

Colonnes

Different breeds

Entrepôts de données et lacs de données

Tell the truth

Our warehouse (in the middle of our street)

Stockage des données

Les ingénieurs de données facilitent la vie des data scientists : à l’aide de différentes techniques de traitement, ils leur préparent les données brutes pour l’analyse en différentes étapes. Ces étapes doivent être combinées pour créer des pipelines, et c’est là que l’automatisation entre en jeu. Enfin, les ingénieurs de données utilisent le parallélisme et le cloud pour assurer la fluidité des pipelines.

Traitement des données

Options

Extraction

Transformation

Chargement

Relier les points

Planification de données

Manuel

Heure

Condition

Schedules

Flux

One or the other

Parallélisme

Whenever, whenever

C’est exact !

Faux

Parallel universe

Cloud

Obscured by clouds

Informatique

Bases de données

Somewhere I belong

We are the champions

Déplacement et traitement des données

Lexicon

Course Glossary: Understanding Data Engineering

En 2019, le salaire moyen des ingénieurs de données a dépassé celui des data scientists. Comment cela est-il arrivé ? Les entreprises souhaitant exploiter pleinement leurs données se sont rendu compte que cela n’était pas possible si elles n’avaient pas encore construit la base. Ce sont les ingénieurs de données qui posent les fondations de la science des données.
<br /> <br />
Dans ce cours, vous allez découvrir les principales responsabilités d’un ingénieur de données, en quoi elles diffèrent de celles d’un Data Scientist et comment elles facilitent le flux de données au sein d’une organisation. Grâce à des exercices pratiques, vous allez suivre Spotflix, une société fictive de streaming musical, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. À la fin de la formation, vous saurez ce que font les ingénieurs de données de votre entreprise, serez prêt à discuter avec eux et disposerez d'une base solide pour commencer votre propre parcours d'ingénieur de données.

Les vidéos contiennent des transcriptions en direct, accessibles en cliquant sur « Afficher la transcription » en bas à gauche des vidéos.

Le glossaire du cours se trouve à droite, dans la section Ressources.

Pour obtenir des crédits CPE, vous devez terminer le cours et atteindre un score de 70 % à l’évaluation qualifiante. Vous pouvez accéder à l’évaluation en cliquant sur l’encart des crédits CPE à droite.

<h2> Comprendre les bases de l'ingénierie des données </h2>
<br>
Dans ce cours, vous découvrirez les principales responsabilités d'un ingénieur des données, en quoi elles diffèrent de celles d'un scientifique des données et comment elles facilitent le flux de données au sein d'une organisation. Grâce à des exercices pratiques, vous suivrez Spotflix, une société fictive de diffusion de musique en continu, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. 
<br><br>
<h2> Appliquer dans les cas personnels</h2>
<br>
À la fin de la formation, vous comprendrez ce que font les ingénieurs en données de votre entreprise, vous serez prêt à discuter avec un ingénieur en données et vous disposerez d'une base solide pour entamer votre propre parcours d'ingénieur en données.

Découvrez comment les ingénieurs de données préparent le terrain pour la science des données.

Présentation de l’ingénierie des données

Découvrez comment les ingénieurs de données posent les bases qui rendent possible la science des données. Vous n'aurez pas à coder !

Ingénieur de données associé en SQL

Analyste de données dans Databricks

Comprendre les thèmes des données

Exécution du pipeline de codage des chansons, car l’ingénierie a changé de codeur et veut s’assurer que le contrôle de validation de ces chansons a toujours un résultat correct.

Génération de la playlist hebdomadaire Spotflix du chapitre 1 tous les lundis à minuit.

Traitement des vidéos chargées par les artistes toutes les heures.

Collecte des données de Google Analytics tous les matins pour vérifier l’état d’avancement de la campagne de promotion.

Exécution des contrôles de validation si de nouvelles vidéos sont collectées.

Mise à jour du nombre d’abonnés à une table de playlists lorsqu’un nouvel utilisateur s’y abonne.

Schedules

Exercice interactif pratique