In this chapter, you’ll be given an introduction to basic concepts in batch data processing, revolving around implementation, scaling, and potential challenges during use.

Intro to batch processing

Batch characteristics

Batch ordering

Scaling batch processing

On the scale

Horizontally opposed

Batch issues

Batch problems

Batch scenarios

Methods for Processing Data

Here, you’ll learn about the basics of streaming, event-based data processing, and the advantages  over traditional batch-based data processing.

Intro to event-based computing

In the event of...

Welcome to the event!

Queuing

Queue characteristics

To queue or not to queue

Single system data streaming

Log stream order

Log options

Batching vs. streaming

Batch, queue, or stream?

Log stream processor

Intro to Streaming

This chapter introduces the concepts behind modern streaming systems, how to scale them, and some of the issues found in using streaming processes.

Einführung in Echtzeit-Streaming

Eigenschaften

Echtzeit

Nicht Echtzeit

Echtzeit?

Anforderungen

Nicht-Echtzeit

Ist es diesmal echt?

Streaming-Systeme vertikal skalieren

Gründe für Skalierung

Optionen

Würde verbessern

Würde nicht verbessern

Vertikal skalieren, um ...?

Streaming-Systeme horizontal skalieren

Vertikal

Horizontal

Out- und Upscaling

Würde helfen, SLA zu erfüllen

Würde nicht helfen, SLA zu erfüllen

SLA-Zusagen

Hürden im Streaming

Attribute

True

False

Streaming-Attribute

Sequenzen

Fehlend

Außer der Reihenfolge

Verzögert

Fehlertypen

Probleme beim Streaming

Probleme beim Batching

Herausforderungen im Streaming

Streaming Systems

In this final chapter, you’ll learn about common streaming systems and consider the implementation of streaming data processing in different use cases.

Popular streaming systems

Streaming truths

Crossing the streams...

Real-world use case: streaming music service

Message components

Answer me this...

Real-world use case: sensor data

Great order of the SLAs

Sensor scaling considerations

Real-world use case: vaccination clinic

Vaccination clinic - classify areas

A new problem...

Congratulations!

Real-World Use Cases

Streaming ist derzeit ein riesiges Thema in der Datenwelt und wird in nahezu jeder Branche eingesetzt – von der Fertigung bis zum Gesundheitswesen. Möchtest du mehr über die grundlegenden Konzepte hinter Datenpipelines und darüber lernen, wie diese Prozesse funktionieren?

Dieser Kurs bietet eine allgemeine Einführung in Streaming-Konzepte inklusive Batching, Queuing und Stream Processing sowie deren Einordnung in Datenverarbeitungs-Frameworks. Er zeigt Praxisbeispiele, wie Streaming in Produktionsumgebungen umgesetzt wird. Der Kurs ist als allgemeine Einführung konzipiert und erfordert keinen umfangreichen Hintergrund in der Datenverarbeitung.


Understanding Data Engineering

Erfahren Sie den Unterschied zwischen Batching und Streaming, Skalierung und Anwendungen.

Streaming-Konzepte

Du erfährst, worin sich Batching und Streaming unterscheiden und wie du Streaming-Systeme skalieren kannst. Inklusive Praxisbeispiele!

Professioneller Dateningenieur in Python

Bestellungen über die Website sollen innerhalb von 10 Sekunden angenommen werden, andernfalls ist eine Fehlermeldung anzuzeigen.

Das ABS-Fahrzeugsystem muss kontinuierlich innerhalb von 30 ms aktualisiert werden.

System-Sicherheitsprotokolle müssen innerhalb von 15 s nach Eingang in den permanenten Speicher geschrieben werden.

Kundendaten sollen so günstig wie möglich in verschiedene Bildgrößen umgewandelt werden.

Dateien sollen je nach Verfügbarkeit zwischen mehreren Systemen repliziert werden.

Ist es diesmal echt?

Interaktive praktische Übung