In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Intro to real-time streaming

Real-time?

Is it real this time?

Vertically scaling streaming systems

Scaling reasons

To vertically scale...?

Horizontally scaling streaming systems

Upscaled out

SLA guarantees

Streaming roadblocks

Streaming attributes

Issue types

Streaming challenges

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Populaire streamingsystemen

Opties

Uitspraken

True

False

Waarheden over streaming

Vereisten

Celery

Kafka

Spark streaming

Kruisende stromen...

Praktijkcase: streaming muziekdienst

Attributen

Vereist

Niet vereist

Berichtcomponenten

Vragen

Kan beantwoorden

Kan niet beantwoorden

Beantwoord dit eens...

Praktijkcase: sensordata

SLA-prioriteit

Sterke volgorde van de SLA's

Projecten

Verticaal

Horizontaal

Overwegingen bij het schalen van sensoren

Praktijkvoorbeeld: vaccinatiekliniek

Gebieden

Batchproces

Gequeud proces

Streamingproces

Vaccinatiekliniek - gebieden classificeren

Requirements

Batch

Queue

Stream

Een nieuw probleem...

Gefeliciteerd!

Real-World Use Cases

Streaming is momenteel een groot onderdeel van de datawereld en wordt in vrijwel elke sector gebruikt, van productie tot gezondheidszorg. Wil je meer leren over de algemene concepten achter datapijplijnen en hoe deze processen werken?

Deze cursus biedt een algemene introductie tot streaming-concepten, waaronder batching, queuing en stream processing, en laat zien hoe ze passen in data processing-frameworks. Je ziet praktijkvoorbeelden van hoe streaming in productie wordt ingezet. De cursus is bedoeld als een algemene introductie tot deze concepten en vereist geen uitgebreide achtergrond in dataverwerking.


Understanding Data Engineering

Leer over het verschil tussen batching en streaming, schaalvergroting en toepassingen in de praktijk.

Streaming-concepten

Ontdek het verschil tussen batchverwerking en streaming, het schalen van streamingsystemen en toepassingen in de praktijk.

Professionele data-engineer in Python

Het profielplaatje van een gebruiker schalen naar de gangbare formaten

Een welkomstmail versturen wanneer een gebruiker zich inschrijft voor een nieuwe cursus

E-mails doorgeven aan een groep systemen die allemaal een kopie nodig hebben

Gebruikersinteracties voor onbepaalde tijd opslaan.

Een grote hoeveelheid berichten snel verwerken en voorspellen of de inhoud positief of negatief is

Een grote hoeveelheid berichten van het ene formaat naar het andere converteren

Kruisende stromen...

Streaming-concepten

Praktische interactieve oefening