In dit hoofdstuk krijg je een introductie tot basisconcepten in batch-dataverwerking, met de nadruk op implementatie, opschalen en mogelijke uitdagingen tijdens het gebruik.

Introductie tot batchverwerking

Batch-kenmerken

Volgorde van batches

Batchverwerking opschalen

Op de schaal

Horizontaal tegengesteld

Problemen met batchverwerking

Batch-problemen

Batch-scenario's

Methoden voor dataverwerking

Hier leer je de basis van streaming, event-based dataverwerking en de voordelen ten opzichte van traditionele batch-gebaseerde dataverwerking.

Introductie tot event-based computing

In het geval dat...

Welkom bij het event!

Wachtrijen

Kenmerken van een queue

Queueen of niet queueen

Datastreaming binnen één systeem

Volgorde van logstream

Log-opties

Batchen vs. streamen

Batch, queue of stream?

Log-streamprocessor

Introductie tot streaming

Dit hoofdstuk introduceert de concepten achter moderne streaming-systemen, hoe je ze kunt opschalen en enkele problemen die je kunt tegenkomen bij het gebruik van streamingprocessen.

Introductie tot realtimestreaming

Realtime?

Is het nu echt real-time?

Streaming-systemen verticaal schalen

Redenen om te schalen

Verticaal opschalen... hoe?

Streaming­systemen horizontaal opschalen

Uitgeschaald

SLA-garanties

Hobbels bij streaming

Kenmerken van streaming

Soorten problemen

Streaminguitdagingen

Streaming-systemen

In dit laatste hoofdstuk maak je kennis met gangbare streaming-systemen en bekijk je de implementatie van streaming-dataverwerking in verschillende use-cases.

Populaire streamingsystemen

Opties

Uitspraken

True

False

Waarheden over streaming

Vereisten

Celery

Kafka

Spark streaming

Kruisende stromen...

Praktijkcase: streaming muziekdienst

Attributen

Vereist

Niet vereist

Berichtcomponenten

Vragen

Kan beantwoorden

Kan niet beantwoorden

Beantwoord dit eens...

Praktijkcase: sensordata

SLA-prioriteit

Sterke volgorde van de SLA's

Projecten

Verticaal

Horizontaal

Overwegingen bij het schalen van sensoren

Praktijkvoorbeeld: vaccinatiekliniek

Gebieden

Batchproces

Gequeud proces

Streamingproces

Vaccinatiekliniek - gebieden classificeren

Requirements

Batch

Queue

Stream

Een nieuw probleem...

Gefeliciteerd!

Use-cases uit de praktijk

Streaming is momenteel een groot onderdeel van de datawereld en wordt in vrijwel elke sector gebruikt, van productie tot gezondheidszorg. Wil je meer leren over de algemene concepten achter datapijplijnen en hoe deze processen werken?

Deze cursus biedt een algemene introductie tot streaming-concepten, waaronder batching, queuing en stream processing, en laat zien hoe ze passen in data processing-frameworks. Je ziet praktijkvoorbeelden van hoe streaming in productie wordt ingezet. De cursus is bedoeld als een algemene introductie tot deze concepten en vereist geen uitgebreide achtergrond in dataverwerking.


Understanding Data Engineering

Leer over het verschil tussen batching en streaming, schaalvergroting en toepassingen in de praktijk.

Streaming-concepten

Ontdek het verschil tussen batchverwerking en streaming, het schalen van streamingsystemen en toepassingen in de praktijk.

Professionele data-engineer in Python

Het profielplaatje van een gebruiker schalen naar de gangbare formaten

Een welkomstmail versturen wanneer een gebruiker zich inschrijft voor een nieuwe cursus

E-mails doorgeven aan een groep systemen die allemaal een kopie nodig hebben

Gebruikersinteracties voor onbepaalde tijd opslaan.

Een grote hoeveelheid berichten snel verwerken en voorspellen of de inhoud positief of negatief is

Een grote hoeveelheid berichten van het ene formaat naar het andere converteren

Kruisende stromen...

Streaming-concepten

Interactieve oefening met praktijkervaring