In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Introductie tot realtimestreaming

Kenmerken

Realtime

Niet-realtime

Realtime?

Vereisten

Real-time

Niet-real-time

Is het nu echt real-time?

Streaming-systemen verticaal schalen

Redenen om te schalen

Opties

Zou verbeteren

Zou niet verbeteren

Verticaal opschalen... hoe?

Streaming­systemen horizontaal opschalen

Verticaal

Horizontaal

Uitgeschaald

Zou helpen om aan de SLA te voldoen

Zou niet helpen om aan de SLA te voldoen

SLA-garanties

Hobbels bij streaming

True

False

Kenmerken van streaming

Reeksen

Ontbrekend

Niet op volgorde

Vertraagd

Soorten problemen

Options

Problemen bij streaming

Problemen bij batching

Streaminguitdagingen

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming is momenteel een groot onderdeel van de datawereld en wordt in vrijwel elke sector gebruikt, van productie tot gezondheidszorg. Wil je meer leren over de algemene concepten achter datapijplijnen en hoe deze processen werken?

Deze cursus biedt een algemene introductie tot streaming-concepten, waaronder batching, queuing en stream processing, en laat zien hoe ze passen in data processing-frameworks. Je ziet praktijkvoorbeelden van hoe streaming in productie wordt ingezet. De cursus is bedoeld als een algemene introductie tot deze concepten en vereist geen uitgebreide achtergrond in dataverwerking.


Understanding Data Engineering

Leer over het verschil tussen batching en streaming, schaalvergroting en toepassingen in de praktijk.

Streaming-concepten

Ontdek het verschil tussen batchverwerking en streaming, het schalen van streamingsystemen en toepassingen in de praktijk.

Professionele data-engineer in Python

Bestellingen op de website van gebruikers moeten binnen 10 seconden worden geaccepteerd, anders toon je een foutmelding.

Het ABS-systeem van het voertuig moet continu binnen 30 ms bijwerken.

Systeembeveiligingslogboeken moeten binnen 15 s na ontvangst naar permanente opslag worden geschreven.

Klantgegevens moeten zo goedkoop mogelijk worden omgezet naar verschillende afbeeldingsgroottes.

Bestanden moeten worden gerepliceerd tussen meerdere systemen, afhankelijk van beschikbaarheid.

Is het nu echt real-time?

Streaming-concepten

Praktische interactieve oefening