Dans ce chapitre, vous serez initié aux concepts de base du traitement des données par lots, autour de l'implantation, de la mise à l'échelle et des défis possibles à l'usage.

Introduction au traitement par lots

Caractéristiques d'un traitement par lots

Ordonnancement des lots

Mettre à l'échelle le traitement par lots

À l'échelle

À l'horizontale

Problèmes liés au traitement par lots

Problèmes liés aux traitements par lots

Scénarios de traitement par lots

Méthodes de traitement des données

Ici, vous apprendrez les bases de la diffusion en continu, du traitement de données fondé sur les événements, et ses avantages par rapport au traitement traditionnel par lots.

Introduction à l'informatique basée sur les événements

Énoncés

Vrai

Faux

En cas d'événement…

Actions

Événement

Pas un événement

Bienvenue à l'événement!

File d'attente

Caractéristiques

Décrit une file d'attente

Ne décrit pas une file d'attente

Caractéristiques d'une file (queue)

Scénario

Utiliser une file d'attente

Ne pas utiliser de file d'attente

Mettre en file ou non

Diffusion de données sur un système unique

Journal d'événements à flux unique

Ordre du flux de journal

Projets

Journalisation

Autre chose

Options de journalisation

Traitement par lots ou en continu

Scénarios

File

Flux

Lot, file ou flux ?

Processus de journaux en continu

Processeur de flux de journaux

Introduction à la diffusion en continu

Ce chapitre présente les concepts derrière les systèmes modernes de diffusion en continu, comment les mettre à l'échelle, ainsi que certains enjeux liés à leur utilisation.

Introduction au flux en temps réel

En temps réel?

Est-ce vraiment en temps réel?

Mise à l'échelle verticale des systèmes de diffusion en continu

Raisons de mettre à l'échelle

Pour effectuer une mise à l'échelle verticale…?

Mise à l'échelle horizontale des systèmes de diffusion en continu

Mise à l'échelle horizontale réussie

Garanties des SLA

Obstacles au traitement en continu

Caractéristiques du streaming

Types de problèmes

Défis du streaming

Systèmes de diffusion en continu

Dans ce dernier chapitre, vous découvrirez des systèmes de diffusion en continu courants et envisagerez l'implantation du traitement de données en continu dans différents cas d'utilisation.

Systèmes de diffusion en continu populaires

Vérités sur le streaming

Croiser les flux…

Cas d'utilisation réel : service de musique en continu

Composantes d'un message

À vous de répondre...

Cas d'utilisation réel : données de capteurs

Excellent ordre des ANS

Considérations d'extensibilité pour les capteurs

Cas d'utilisation réel : clinique de vaccination

Clinique de vaccination – classer les zones

Un nouveau problème...

Félicitations !

Cas d'utilisation réels

La diffusion en continu occupe une place majeure dans le monde des données et est utilisée dans presque tous les secteurs, de la fabrication aux soins de santé. Souhaitez-vous en apprendre davantage sur les concepts généraux derrière les pipelines de données et le fonctionnement de ces processus?

Ce cours propose une introduction générale aux concepts de diffusion en continu, notamment le traitement par lots, la mise en file d'attente et le traitement de flux, ainsi que leur place dans les cadres de traitement des données. Il présente des exemples concrets d'implantation de la diffusion en continu en production. Il est conçu comme une introduction générale à ces notions et ne nécessite pas de solide bagage en traitement des données.


Understanding Data Engineering

Découvrez la différence entre le traitement par lots et en continu, et leurs applications réelles.

Concepts de diffusion en continu

Découvrez la différence entre le traitement par lots et le streaming, la mise à l’échelle des systèmes de streaming et les applications concrètes.

Ingénieur de données professionnel en Python

Traiter tous les éléments reçus avant 13 h chaque jour.

Créer des groupes de 10 images aléatoires toutes les 2 heures.

Traiter les commentaires des utilisateurs dans l'ordre de réception, mais seulement lorsque le système a de la capacité de traitement disponible.

Enregistrer les clics des utilisateurs dans une application Web au fur et à mesure qu'ils arrivent.

Traiter les demandes de chansons des utilisateurs dès que possible, sans délai.

Lot, file ou flux ?

Concepts de diffusion en continu

Exercice interactif pratique