Dans ce chapitre, vous allez apprendre ce qu’est l’ingénierie des données et pourquoi la demande en la matière est en augmentation. Vous découvrirez ensuite où se situe l’ingénierie des données dans le cycle de vie de la science des données, en quoi les ingénieurs de données diffèrent des data scientists, et vous découvrirez votre premier pipeline de données complet.

Ingénierie des données et big data

Flux de travail en science des données

Suivez le mouvement

Options

Tâches d’ingénierie des données

Tâches n’appartenant pas à l’ingénierie des données

Non responsable

Vrai

Faux

Big time

Ingénieurs de données vs data scientists

Tell me the truth

Ingénieur de données

Data scientists

De qui s’agit-il ?

Pipeline de données

Ce n’est pas ça

Pipeline

Qu’est-ce que l’ingénierie des données ?

Il est temps de parler du stockage des données, l’une des principales responsabilités de l’ingénieur de données. Dans ce chapitre, vous apprendrez comment les ingénieurs de données gèrent différentes structures de données, travaillent avec le SQL, le langage de programmation privilégié pour l'interrogation et le stockage des données, et mettent en œuvre des solutions de stockage de données appropriées avec les lacs de données et les entrepôts de données.

Structures de données

Structures

Quelle est la différence ?

Bases de données SQL

We can work it out

Colonnes

Different breeds

Entrepôts de données et lacs de données

Tell the truth

Our warehouse (in the middle of our street)

Stockage des données

Les ingénieurs de données facilitent la vie des data scientists : à l’aide de différentes techniques de traitement, ils leur préparent les données brutes pour l’analyse en différentes étapes. Ces étapes doivent être combinées pour créer des pipelines, et c’est là que l’automatisation entre en jeu. Enfin, les ingénieurs de données utilisent le parallélisme et le cloud pour assurer la fluidité des pipelines.

Traitement des données

Relier les points

Planification de données

Schedules

One or the other

Parallélisme

Whenever, whenever

Parallel universe

Cloud

Obscured by clouds

Somewhere I belong

We are the champions

Déplacement et traitement des données

Lexicon

Course Glossary: Understanding Data Engineering

En 2019, le salaire moyen des ingénieurs de données a dépassé celui des data scientists. Comment cela est-il arrivé ? Les entreprises souhaitant exploiter pleinement leurs données se sont rendu compte que cela n’était pas possible si elles n’avaient pas encore construit la base. Ce sont les ingénieurs de données qui posent les fondations de la science des données.
<br /> <br />
Dans ce cours, vous allez découvrir les principales responsabilités d’un ingénieur de données, en quoi elles diffèrent de celles d’un data scientist et comment elles facilitent le flux de données au sein d’une organisation. Grâce à des exercices pratiques, vous allez suivre Spotflix, une société fictive de streaming musical, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. À la fin de la formation, vous saurez ce que font les ingénieurs de données de votre entreprise, serez prêt à discuter avec eux et disposerez d'une base solide pour commencer votre propre parcours d'ingénieur de données.


<h2> Comprendre les bases de l'ingénierie des données </h2>
<br>
Dans ce cours, vous découvrirez les principales responsabilités d'un ingénieur des données, en quoi elles diffèrent de celles d'un scientifique des données et comment elles facilitent le flux de données au sein d'une organisation. Grâce à des exercices pratiques, vous suivrez Spotflix, une société fictive de diffusion de musique en continu, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. 
<br><br>
<h2> Appliquer dans les cas personnels</h2>
<br>
À la fin de la formation, vous comprendrez ce que font les ingénieurs en données de votre entreprise, vous serez prêt à discuter avec un ingénieur en données et vous disposerez d'une base solide pour entamer votre propre parcours d'ingénieur en données.

Découvrez comment les ingénieurs de données préparent le terrain pour la science des données.

Présentation de l’ingénierie des données

Découvrez comment les ingénieurs de données posent les bases qui rendent possible la science des données. Vous n'aurez pas à coder !

Ingénieur de données associé en SQL

Analyste de données dans Databricks

Comprendre les thèmes des données

Extrayez les chansons que Julian a le plus écoutées au cours du mois dernier

Trouvez d’autres utilisateurs qui ont également beaucoup écouté ces mêmes chansons

Chargez uniquement les 10 chansons les plus écoutées par ces utilisateurs au cours de la semaine écoulée dans une table nommée « Similar profiles » (Profils similaires)

N'extrayez que les chansons que ces autres utilisateurs écoutent et qui sont du même genre que celles écoutées par Julian. Voici nos recommandations.

Chargez les chansons recommandées dans une nouvelle table. C'est la playlist hebdomadaire de Julian !

Pipeline

Présentation de l’ingénierie des données

Exercice interactif pratique