In dit hoofdstuk krijg je een introductie tot basisconcepten in batch-dataverwerking, met de nadruk op implementatie, opschalen en mogelijke uitdagingen tijdens het gebruik.

Introductie tot batchverwerking

Batch-kenmerken

Volgorde van batches

Batchverwerking opschalen

Op de schaal

Horizontaal tegengesteld

Problemen met batchverwerking

Batch-problemen

Batch-scenario's

Methoden voor dataverwerking

Hier leer je de basis van streaming, event-based dataverwerking en de voordelen ten opzichte van traditionele batch-gebaseerde dataverwerking.

Introductie tot event-based computing

In het geval dat...

Welkom bij het event!

Wachtrijen

Kenmerken van een queue

Queueen of niet queueen

Datastreaming binnen één systeem

Volgorde van logstream

Log-opties

Batchen vs. streamen

Batch, queue of stream?

Log-streamprocessor

Introductie tot streaming

Dit hoofdstuk introduceert de concepten achter moderne streaming-systemen, hoe je ze kunt opschalen en enkele problemen die je kunt tegenkomen bij het gebruik van streamingprocessen.

Introductie tot realtimestreaming

Kenmerken

Realtime

Niet-realtime

Realtime?

Vereisten

Real-time

Niet-real-time

Is het nu echt real-time?

Streaming-systemen verticaal schalen

Redenen om te schalen

Opties

Zou verbeteren

Zou niet verbeteren

Verticaal opschalen... hoe?

Streaming­systemen horizontaal opschalen

Verticaal

Horizontaal

Uitgeschaald

Zou helpen om aan de SLA te voldoen

Zou niet helpen om aan de SLA te voldoen

SLA-garanties

Hobbels bij streaming

True

False

Kenmerken van streaming

Reeksen

Ontbrekend

Niet op volgorde

Vertraagd

Soorten problemen

Options

Problemen bij streaming

Problemen bij batching

Streaminguitdagingen

Streaming-systemen

In dit laatste hoofdstuk maak je kennis met gangbare streaming-systemen en bekijk je de implementatie van streaming-dataverwerking in verschillende use-cases.

Populaire streamingsystemen

Waarheden over streaming

Kruisende stromen...

Praktijkcase: streaming muziekdienst

Berichtcomponenten

Beantwoord dit eens...

Praktijkcase: sensordata

Sterke volgorde van de SLA's

Overwegingen bij het schalen van sensoren

Praktijkvoorbeeld: vaccinatiekliniek

Vaccinatiekliniek - gebieden classificeren

Een nieuw probleem...

Gefeliciteerd!

Use-cases uit de praktijk

Streaming is momenteel een groot onderdeel van de datawereld en wordt in vrijwel elke sector gebruikt, van productie tot gezondheidszorg. Wil je meer leren over de algemene concepten achter datapijplijnen en hoe deze processen werken?

Deze cursus biedt een algemene introductie tot streaming-concepten, waaronder batching, queuing en stream processing, en laat zien hoe ze passen in data processing-frameworks. Je ziet praktijkvoorbeelden van hoe streaming in productie wordt ingezet. De cursus is bedoeld als een algemene introductie tot deze concepten en vereist geen uitgebreide achtergrond in dataverwerking.


Understanding Data Engineering

Leer over het verschil tussen batching en streaming, schaalvergroting en toepassingen in de praktijk.

Streaming-concepten

Ontdek het verschil tussen batchverwerking en streaming, het schalen van streamingsystemen en toepassingen in de praktijk.

Professionele data-engineer in Python

Bestellingen op de website van gebruikers moeten binnen 10 seconden worden geaccepteerd, anders toon je een foutmelding.

Het ABS-systeem van het voertuig moet continu binnen 30 ms bijwerken.

Systeembeveiligingslogboeken moeten binnen 15 s na ontvangst naar permanente opslag worden geschreven.

Klantgegevens moeten zo goedkoop mogelijk worden omgezet naar verschillende afbeeldingsgroottes.

Bestanden moeten worden gerepliceerd tussen meerdere systemen, afhankelijk van beschikbaarheid.

Is het nu echt real-time?

Streaming-concepten

Interactieve oefening met praktijkervaring