In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Introductie tot event-based computing

Uitspraken

Waar

Onwaar

In het geval dat...

Acties

Event

Geen event

Welkom bij het event!

Wachtrijen

Kenmerken

Beschrijft een queue

Beschrijft geen queue

Kenmerken van een queue

Scenario

Gebruik een queue

Gebruik geen queue

Queueen of niet queueen

Datastreaming binnen één systeem

Eventlog van één stream

Volgorde van logstream

Projecten

Logging

Iets anders

Log-opties

Batchen vs. streamen

Scenario's

Batch

Queue

Stream

Batch, queue of stream?

Streaminglogproces

Log-streamprocessor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming is momenteel een groot onderdeel van de datawereld en wordt in vrijwel elke sector gebruikt, van productie tot gezondheidszorg. Wil je meer leren over de algemene concepten achter datapijplijnen en hoe deze processen werken?

Deze cursus biedt een algemene introductie tot streaming-concepten, waaronder batching, queuing en stream processing, en laat zien hoe ze passen in data processing-frameworks. Je ziet praktijkvoorbeelden van hoe streaming in productie wordt ingezet. De cursus is bedoeld als een algemene introductie tot deze concepten en vereist geen uitgebreide achtergrond in dataverwerking.


Understanding Data Engineering

Leer over het verschil tussen batching en streaming, schaalvergroting en toepassingen in de praktijk.

Streaming-concepten

Ontdek het verschil tussen batchverwerking en streaming, het schalen van streamingsystemen en toepassingen in de praktijk.

Professionele data-engineer in Python

Een klant heeft een orderafhandelingssysteem nodig voor digitale items die altijd op voorraad zijn. Ze willen dat elke verkoop wordt afgehandeld in de volgorde waarin deze is ontvangen.

Een online spel dat maar één gebruiker tegelijk kan ondersteunen, maar je manager vraagt om elke gebruiker een `I want to play`-knop te laten klikken en op hun beurt te laten wachten.

Een klant wil een loterij uitvoeren waarbij gebruikersinformatie centraal wordt opgeslagen. Zodra de loterij start, willen ze de winnaar op aanvraag kunnen opvragen.

Ontwikkel een afbeeldingsverwerkingssysteem waarin je zo veel mogelijk items tegelijk moet verwerken. De volgorde maakt in dit geval niet uit.

Queueen of niet queueen

Streaming-concepten

Praktische interactieve oefening