Dans ce chapitre, vous allez apprendre ce qu’est l’ingénierie des données et pourquoi la demande en la matière est en augmentation. Vous découvrirez ensuite où se situe l’ingénierie des données dans le cycle de vie de la science des données, en quoi les ingénieurs de données diffèrent des data scientists, et vous découvrirez votre premier pipeline de données complet.

Ingénierie des données et big data

Flux de travail en data science

Allez avec le flux

Options

Tâches de data engineering

Tâches qui ne relèvent pas du data engineering

Pas responsable

Vrai

Faux

À grande échelle

Ingénieurs de données vs data scientists

Dites-moi la vérité

Data engineer

Data scientist

Qui fait quoi

Pipeline de données

Ce n'est pas vrai

Processus de data science

Pipeline

Qu’est-ce que l’ingénierie des données ?

Il est temps de parler du stockage des données, l’une des principales responsabilités de l’ingénieur de données. Dans ce chapitre, vous apprendrez comment les ingénieurs de données gèrent différentes structures de données, travaillent avec le SQL, le langage de programmation privilégié pour l'interrogation et le stockage des données, et mettent en œuvre des solutions de stockage de données appropriées avec les lacs de données et les entrepôts de données.

Structures de données

Structures

Quelle est la différence

Bases de données SQL

On peut y arriver

Colonnes

Des profils différents

Entrepôts de données et lacs de données

Dites la vérité

Our warehouse (in the middle of our street)

Stockage des données

Les ingénieurs de données facilitent la vie des data scientists : à l’aide de différentes techniques de traitement, ils leur préparent les données brutes pour l’analyse en différentes étapes. Ces étapes doivent être combinées pour créer des pipelines, et c’est là que l’automatisation entre en jeu. Enfin, les ingénieurs de données utilisent le parallélisme et le cloud pour assurer la fluidité des pipelines.

Traitement des données

Relier les points

Planification de données

Plannings

L'un ou l'autre

Parallélisme

À tout moment, vraiment ?

Univers parallèle

Cloud

Dissimulé par les nuages

Somewhere I belong

We are the champions

Déplacement et traitement des données

Lexicon

Course Glossary: Understanding Data Engineering

En 2019, le salaire moyen des ingénieurs de données a dépassé celui des data scientists. Comment cela est-il arrivé ? Les entreprises souhaitant exploiter pleinement leurs données se sont rendu compte que cela n’était pas possible si elles n’avaient pas encore construit la base. Ce sont les ingénieurs de données qui posent les fondations de la science des données.
<br /> <br />
Dans ce cours, vous allez découvrir les principales responsabilités d’un ingénieur de données, en quoi elles diffèrent de celles d’un Data Scientist et comment elles facilitent le flux de données au sein d’une organisation. Grâce à des exercices pratiques, vous allez suivre Spotflix, une société fictive de streaming musical, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. À la fin de la formation, vous saurez ce que font les ingénieurs de données de votre entreprise, serez prêt à discuter avec eux et disposerez d'une base solide pour commencer votre propre parcours d'ingénieur de données.

Les vidéos contiennent des transcriptions en direct, accessibles en cliquant sur « Afficher la transcription » en bas à gauche des vidéos.

Le glossaire du cours se trouve à droite, dans la section Ressources.

Pour obtenir des crédits CPE, vous devez terminer le cours et atteindre un score de 70 % à l’évaluation qualifiante. Vous pouvez accéder à l’évaluation en cliquant sur l’encart des crédits CPE à droite.

<h2> Comprendre les bases de l'ingénierie des données </h2>
<br>
Dans ce cours, vous découvrirez les principales responsabilités d'un ingénieur des données, en quoi elles diffèrent de celles d'un scientifique des données et comment elles facilitent le flux de données au sein d'une organisation. Grâce à des exercices pratiques, vous suivrez Spotflix, une société fictive de diffusion de musique en continu, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. 
<br><br>
<h2> Appliquer dans les cas personnels</h2>
<br>
À la fin de la formation, vous comprendrez ce que font les ingénieurs en données de votre entreprise, vous serez prêt à discuter avec un ingénieur en données et vous disposerez d'une base solide pour entamer votre propre parcours d'ingénieur en données.

Découvrez comment les ingénieurs de données préparent le terrain pour la science des données.

Présentation de l’ingénierie des données

Découvrez comment les ingénieurs de données posent les bases qui rendent possible la science des données. Vous n'aurez pas à coder !

Ingénieur de données associé en SQL

Analyste de données dans Databricks

Comprendre les thèmes des données

Extraire les chansons que Julian a le plus écoutées au cours du dernier mois

Trouver d'autres utilisateurs qui ont également beaucoup écouté ces mêmes chansons

Charger uniquement les 10 chansons les plus écoutées par ces utilisateurs au cours de la dernière semaine dans une table appelée "Similar profiles"

Extraire uniquement les chansons que ces autres utilisateurs écoutent et qui sont du même genre que celles des sessions d'écoute de Julian. Ce sont nos recommandations.

Charger les chansons recommandées dans une nouvelle table. C'est la Playlist hebdomadaire de Julian !

Pipeline

Exercice interactif pratique