In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Introductie tot realtimestreaming

Kenmerken

Realtime

Niet-realtime

Realtime?

Vereisten

Real-time

Niet-real-time

Is het nu echt real-time?

Streaming-systemen verticaal schalen

Redenen om te schalen

Opties

Zou verbeteren

Zou niet verbeteren

Verticaal opschalen... hoe?

Streaming­systemen horizontaal opschalen

Verticaal

Horizontaal

Uitgeschaald

Zou helpen om aan de SLA te voldoen

Zou niet helpen om aan de SLA te voldoen

SLA-garanties

Hobbels bij streaming

True

False

Kenmerken van streaming

Reeksen

Ontbrekend

Niet op volgorde

Vertraagd

Soorten problemen

Options

Problemen bij streaming

Problemen bij batching

Streaminguitdagingen

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming is momenteel een groot onderdeel van de datawereld en wordt in vrijwel elke sector gebruikt, van productie tot gezondheidszorg. Wil je meer leren over de algemene concepten achter datapijplijnen en hoe deze processen werken?

Deze cursus biedt een algemene introductie tot streaming-concepten, waaronder batching, queuing en stream processing, en laat zien hoe ze passen in data processing-frameworks. Je ziet praktijkvoorbeelden van hoe streaming in productie wordt ingezet. De cursus is bedoeld als een algemene introductie tot deze concepten en vereist geen uitgebreide achtergrond in dataverwerking.


Understanding Data Engineering

Leer over het verschil tussen batching en streaming, schaalvergroting en toepassingen in de praktijk.

Streaming-concepten

Ontdek het verschil tussen batchverwerking en streaming, het schalen van streamingsystemen en toepassingen in de praktijk.

Professionele data-engineer in Python

Een klant moet de tijd verkorten die nodig is om een bepaald item te verwerken. Je vervangt de CPU door een snellere.

Een klant moet meer gebeurtenissen tegelijk verwerken. Je verdubbelt het aantal gebruikte systemen.

Een collega moet de verwerkingstijd voor één enkele gebeurtenis verkorten. Je voegt 3 systemen toe aan het cluster.

Een klant wil een CPU-gebonden proces verbeteren. Dit systeem heeft al de snelste beschikbare CPU. Je voegt een SSD toe.

SLA-garanties

Streaming-concepten

Praktische interactieve oefening