In diesem Kapitel erhältst du eine Einführung in grundlegende Konzepte der Batch-Datenverarbeitung – mit Fokus auf Implementierung, Skalierung und möglichen Herausforderungen in der Praxis.

Einführung in die Batchverarbeitung

Batch-Eigenschaften

Reihenfolge im Batch

Batchverarbeitung skalieren

Maßstabsgerecht

Horizontal entgegengesetzt

Probleme bei Batches

Batch-Probleme

Batch-Szenarien

Methoden zur Datenverarbeitung

Hier lernst du die Grundlagen des Streamings, ereignisbasierte Datenverarbeitung und die Vorteile gegenüber der traditionellen Batch-Verarbeitung kennen.

Einführung in eventbasierte Verarbeitung

Im Falle eines Ereignisses ...

Willkommen beim Event!

Warteschlangen

Eigenschaften von Queues

Queue oder nicht Queue

Datenstreaming in Einzel­systemen

Reihenfolge im Log-Stream

Protokollierungsoptionen

Batching vs. Streaming

Batch, Queue oder Stream?

Log-Stream-Prozessor

Einführung ins Streaming

Dieses Kapitel führt in die Konzepte moderner Streaming-Systeme ein, zeigt, wie sie skaliert werden, und beleuchtet einige Herausforderungen bei der Nutzung von Streaming-Prozessen.

Einführung in Echtzeit-Streaming

Echtzeit?

Ist es diesmal echt?

Streaming-Systeme vertikal skalieren

Gründe für Skalierung

Vertikal skalieren, um ...?

Streaming-Systeme horizontal skalieren

Out- und Upscaling

SLA-Zusagen

Hürden im Streaming

Streaming-Attribute

Fehlertypen

Herausforderungen im Streaming

Streaming-Systeme

In diesem letzten Kapitel lernst du gängige Streaming-Systeme kennen und betrachtest die Umsetzung von Streaming-Datenverarbeitung in verschiedenen Anwendungsfällen.

Beliebte Streaming-Systeme

Options

Statements

True

False

Streaming-Wahrheiten

Anforderungen

Celery

Kafka

Spark Streaming

Streams kreuzen...

Praxisbeispiel: Streaming-Musikdienst

Attribute

Erforderlich

Nicht erforderlich

Nachrichtenbestandteile

Fragen

Kann beantwortet werden

Kann nicht beantwortet werden

Beantworte mir Folgendes...

Praxisbeispiel: Sensordaten

SLA-Priorität

Gute Reihenfolge der SLAs

Projects

Vertical

Horizontal

Überlegungen zur Skalierung von Sensoren

Praxisbeispiel: Impfklinik

Bereiche

Batch-Prozess

Warteschlangen-Prozess

Streaming-Prozess

Impfklinik – Bereiche klassifizieren

Batch

Queue

Stream

Ein neues Problem ...

Glückwunsch!

Praxisnahe Anwendungsfälle

Streaming ist derzeit ein riesiges Thema in der Datenwelt und wird in nahezu jeder Branche eingesetzt – von der Fertigung bis zum Gesundheitswesen. Möchtest du mehr über die grundlegenden Konzepte hinter Datenpipelines und darüber lernen, wie diese Prozesse funktionieren?

Dieser Kurs bietet eine allgemeine Einführung in Streaming-Konzepte inklusive Batching, Queuing und Stream Processing sowie deren Einordnung in Datenverarbeitungs-Frameworks. Er zeigt Praxisbeispiele, wie Streaming in Produktionsumgebungen umgesetzt wird. Der Kurs ist als allgemeine Einführung konzipiert und erfordert keinen umfangreichen Hintergrund in der Datenverarbeitung.


Understanding Data Engineering

Erfahren Sie den Unterschied zwischen Batching und Streaming, Skalierung und Anwendungen.

Streaming-Konzepte

Du erfährst, worin sich Batching und Streaming unterscheiden und wie du Streaming-Systeme skalieren kannst. Inklusive Praxisbeispiele!

Professioneller Dateningenieur in Python

Profilbild eines Nutzers auf die gängigen Größen skalieren

Eine Willkommens-E-Mail senden, wenn sich ein Nutzer für einen neuen Kurs anmeldet

E-Mails an eine Gruppe von Systemen weiterleiten, die alle eine Kopie benötigen

Nutzerinteraktionen unbegrenzt speichern.

Eine große Menge an Nachrichten schnell verarbeiten und vorhersagen, ob der Inhalt positiv oder negativ ist

Eine große Menge an Nachrichten von einem Format in ein anderes umwandeln

Streams kreuzen...

Streaming-Konzepte

Interaktive Übung