In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Introduction au streaming en temps réel

Caractéristiques

Temps réel

Non temps réel

Temps réel ?

Exigences

Est-ce bien du temps réel, cette fois ?

Mise à l’échelle verticale des systèmes de streaming

Raisons d’augmenter l’échelle

Options

S’améliorerait

Ne s’améliorerait pas

Pour mettre à l’échelle verticalement… ?

Mise à l’échelle horizontale des systèmes de streaming

Verticale

Horizontale

Mise à l’échelle horizontale

Aiderait à respecter le SLA

N’aiderait pas à respecter le SLA

Garanties SLA

Obstacles du streaming

Attributs

Vrai

Faux

Attributs du streaming

Séquences

Manquantes

Hors ordre

Retardées

Types de problèmes

Problèmes pour le streaming

Problèmes pour le batching

Défis du streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Le streaming occupe aujourd’hui une place majeure dans le monde de la donnée et est utilisé par presque tous les secteurs, de l’industrie à la santé. Souhaitez-vous en savoir plus sur les concepts généraux derrière les pipelines de données et sur le fonctionnement de ces processus ?

Ce cours propose une introduction générale aux concepts de streaming, notamment le batching, la mise en file d’attente et le traitement de flux, ainsi que leur place dans les cadres de traitement de données. Il présente des exemples concrets de mise en œuvre du streaming en production. Il s’agit d’une introduction générale à ces notions et aucun bagage approfondi en traitement de données n’est requis.


Understanding Data Engineering

Découvrez la différence entre le traitement par lots et en flux, et leurs applications réelles.

Concepts de streaming

Différenciez le traitement par lots et le streaming, la mise à l'échelle des systèmes de streaming et les applications concrètes.

Ingénieur professionnel en données en Python

Un client doit réduire le temps nécessaire pour traiter un élément donné. Vous remplacez le processeur par un CPU plus rapide.

Un client doit traiter davantage d’événements simultanément. Vous doublez le nombre de systèmes utilisés.

Un collègue doit réduire le temps de traitement pour un seul événement. Vous ajoutez 3 systèmes au cluster.

Un client souhaite améliorer un processus limité par le CPU. Ce système dispose déjà du processeur le plus rapide disponible. Vous ajoutez un SSD.

Garanties SLA

Exercice interactif pratique