Dans ce chapitre, vous apprendrez ce qu'est l'ingénierie des données et pourquoi la demande pour ces profils augmente. Vous verrez ensuite où l'ingénierie des données se situe dans le cycle de vie de la science des données, en quoi les ingénieur·e·s diffèrent des scientifiques des données, et vous serez initié·e à votre premier pipeline de données complet.

L'ingénierie des données et les mégadonnées

Flux de travail en science des données

Allez avec le flot

Options

Tâches d'ingénierie des données

Tâches qui ne relèvent pas de l'ingénierie des données

Pas responsable

Vrai

Faux

Gros calibre

Ingénieurs de données vs scientifiques des données

Dites-moi la vérité

Ingénieur de données

Scientifique des données

Qui fait quoi

Le pipeline de données

Ce n'est pas vrai

Pipeline

Qu'est-ce que l'ingénierie des données?

Il est temps de parler de l'entreposage des données — l'une des principales responsabilités d'un·e ingénieur·e de données. Dans ce chapitre, vous verrez comment les ingénieur·e·s de données gèrent différentes structures de données, travaillent en SQL — le langage de programmation privilégié pour interroger et stocker des données — et mettent en place des solutions d'entreposage adaptées avec des lacs de données et des entrepôts de données.

Structures de données

Structures

Quelle est la différence

Bases de données SQL

On peut y arriver

Colonnes

Différents profils

Entrepôts de données et lacs de données

Dites la vérité

Notre entrepôt (au milieu de notre rue)

Stocker les données

Les ingénieur·e·s de données facilitent la vie des scientifiques des données en préparant les données brutes pour l'analyse au moyen de différentes techniques de traitement, à différentes étapes. Ces étapes doivent être combinées pour créer des pipelines, ce qui introduit l'automatisation. Enfin, les ingénieur·e·s de données recourent au calcul parallèle et à l'infonuagique pour assurer la fluidité des pipelines.

Traitement des données

Relier les points

Planification des données

Horaires

L'un ou l'autre

Calcul parallèle

N'importe quand, vraiment?

Univers parallèle

Infonuagique

Dissimulé par les nuages

Somewhere I belong

Nous sommes les champions

Déplacer et traiter les données

Lexicon

Course Glossary: Understanding Data Engineering

En 2019, le salaire moyen des ingénieur·e·s de données a dépassé celui des scientifiques des données. Comment en est-on arrivé là? Les entreprises désireuses d'exploiter la valeur de leurs données ont compris qu'elles ne pouvaient pas le faire sans avoir d'abord bâti l'infrastructure. Les ingénieur·e·s de données posent les fondations qui rendent la science des données possible.
<br /> <br />
Dans ce cours, vous découvrirez les principales responsabilités d'un·e ingénieur·e de données, en quoi son rôle diffère de celui d'un·e scientifique des données et comment il ou elle facilite la circulation des données au sein d'une organisation. Au moyen d'exercices pratiques, vous suivrez Spotflix, une entreprise fictive de diffusion de musique en continu, pour comprendre comment ses ingénieur·e·s de données recueillent, nettoient et consignent leurs données. À la fin du cours, vous saurez ce que font les ingénieur·e·s de données de votre entreprise, serez prêt·e à échanger avec un·e ingénieur·e de données et disposerez d'une base solide pour amorcer votre propre parcours en ingénierie des données.

Les vidéos contiennent des transcriptions en direct, accessibles en cliquant sur « Show transcript » au bas à gauche des vidéos.

Le glossaire du cours se trouve à droite, dans la section Ressources.

Pour obtenir des crédits de FPC, vous devez terminer le cours et atteindre un résultat de 70 % à l'évaluation admissible. Vous pouvez accéder à l'évaluation en cliquant sur l'encadré des crédits de FPC à droite.

<h2> Comprendre les bases de l’ingénierie des données </h2>
<br>
Dans ce cours, vous allez découvrir les principales responsabilités d’un ingénieur de données, en quoi elles diffèrent de celles d’un expert en science des données et comment elles facilitent le flux de données au sein d’une organisation. Grâce à des exercices pratiques, vous allez suivre Spotflix, une société fictive de streaming musical, pour comprendre comment ses ingénieurs de données collectent, nettoient et cataloguent leurs données. 
<br><br>
<h2> Appliquer dans des cas personnels</h2>
<br>
À la fin de la formation, vous saurez ce que font les ingénieurs de données de votre entreprise, serez prêt à discuter avec eux et disposerez d'une base solide pour commencer votre propre parcours d'ingénieur de données.

Découvrez comment les ingénieurs de données préparent le terrain pour la science des données.

Comprendre l'ingénierie des données

Les ingénieurs de données posent les bases qui rendent possible la science des données. Pas de codage requis !

Ingénieur de données associé en SQL

Analyste de données dans Databricks

Comprendre les sujets liés aux données

Extraire les chansons que Julian a le plus écoutées au cours du dernier mois

Trouver d'autres utilisateurs qui ont aussi beaucoup écouté ces mêmes chansons

Charger uniquement les 10 chansons les plus écoutées par ces utilisateurs au cours de la dernière semaine dans une table appelée "Profils similaires"

Extraire uniquement les chansons que ces autres utilisateurs écoutent et qui sont du même genre que celles des séances d'écoute de Julian. Ce sont nos recommandations.

Charger les chansons recommandées dans une nouvelle table. Voilà la liste de lecture hebdomadaire de Julian !

Pipeline

Comprendre l'ingénierie des données

Exercice interactif pratique