In diesem Kapitel erhältst du eine Einführung in grundlegende Konzepte der Batch-Datenverarbeitung – mit Fokus auf Implementierung, Skalierung und möglichen Herausforderungen in der Praxis.

Einführung in die Batchverarbeitung

Batch-Eigenschaften

Reihenfolge im Batch

Batchverarbeitung skalieren

Maßstabsgerecht

Horizontal entgegengesetzt

Probleme bei Batches

Batch-Probleme

Batch-Szenarien

Methoden zur Datenverarbeitung

Hier lernst du die Grundlagen des Streamings, ereignisbasierte Datenverarbeitung und die Vorteile gegenüber der traditionellen Batch-Verarbeitung kennen.

Einführung in eventbasierte Verarbeitung

Aussagen

True

False

Im Falle eines Ereignisses ...

Aktionen

Event

Kein Event

Willkommen beim Event!

Warteschlangen

Eigenschaften

Beschreibt eine Queue

Beschreibt keine Queue

Eigenschaften von Queues

Scenario

Use a queue

Don't use a queue

Queue oder nicht Queue

Datenstreaming in Einzel­systemen

Event-Log eines einzelnen Streams

Reihenfolge im Log-Stream

Projekte

Logging

Something else

Protokollierungsoptionen

Batching vs. Streaming

Szenarien

Batch

Queue

Stream

Batch, Queue oder Stream?

Streaming-Log-Prozess

Log-Stream-Prozessor

Einführung ins Streaming

Dieses Kapitel führt in die Konzepte moderner Streaming-Systeme ein, zeigt, wie sie skaliert werden, und beleuchtet einige Herausforderungen bei der Nutzung von Streaming-Prozessen.

Einführung in Echtzeit-Streaming

Echtzeit?

Ist es diesmal echt?

Streaming-Systeme vertikal skalieren

Gründe für Skalierung

Vertikal skalieren, um ...?

Streaming-Systeme horizontal skalieren

Out- und Upscaling

SLA-Zusagen

Hürden im Streaming

Streaming-Attribute

Fehlertypen

Herausforderungen im Streaming

Streaming-Systeme

In diesem letzten Kapitel lernst du gängige Streaming-Systeme kennen und betrachtest die Umsetzung von Streaming-Datenverarbeitung in verschiedenen Anwendungsfällen.

Beliebte Streaming-Systeme

Streaming-Wahrheiten

Streams kreuzen...

Praxisbeispiel: Streaming-Musikdienst

Nachrichtenbestandteile

Beantworte mir Folgendes...

Praxisbeispiel: Sensordaten

Gute Reihenfolge der SLAs

Überlegungen zur Skalierung von Sensoren

Praxisbeispiel: Impfklinik

Impfklinik – Bereiche klassifizieren

Ein neues Problem ...

Glückwunsch!

Praxisnahe Anwendungsfälle

Streaming ist derzeit ein riesiges Thema in der Datenwelt und wird in nahezu jeder Branche eingesetzt – von der Fertigung bis zum Gesundheitswesen. Möchtest du mehr über die grundlegenden Konzepte hinter Datenpipelines und darüber lernen, wie diese Prozesse funktionieren?

Dieser Kurs bietet eine allgemeine Einführung in Streaming-Konzepte inklusive Batching, Queuing und Stream Processing sowie deren Einordnung in Datenverarbeitungs-Frameworks. Er zeigt Praxisbeispiele, wie Streaming in Produktionsumgebungen umgesetzt wird. Der Kurs ist als allgemeine Einführung konzipiert und erfordert keinen umfangreichen Hintergrund in der Datenverarbeitung.


Understanding Data Engineering

Erfahren Sie den Unterschied zwischen Batching und Streaming, Skalierung und Anwendungen.

Streaming-Konzepte

Du erfährst, worin sich Batching und Streaming unterscheiden und wie du Streaming-Systeme skalieren kannst. Inklusive Praxisbeispiele!

Professioneller Dateningenieur in Python

Parser liest die Informationen im Ereignis.

Die Prozesslogik bestimmt, was mit den Daten zu tun ist.

Der Log-Writer speichert die Informationen wie erforderlich in einer Datei.

Reihenfolge im Log-Stream

Streaming-Konzepte

Interaktive Übung