In diesem ersten Kapitel lernst du die Unterschiede zwischen Batch- und Stream-Verarbeitung kennen, erstellst deinen ersten Stream, verwaltest seine Berechtigungen, schreibst in ihn und liest aus ihm.

Was ist Streaming und warum ist es wichtig?

Batch vs. Stream

Erzeuger und Bestimmungsorte

Verwaltung von Firehose-Lieferströmen

Vorbereitung auf den ersten Stream

Rollen erstellen

IAM Benutzer vs. Rollen

Praxis der Erlaubniserteilung

S3 Bucket erstellen

Arbeiten mit dem Firehose Lieferstrom

Erstelle deinen ersten Firehose Stream

Schreiben in einen Firehose-Stream

Firehose-Daten lesen

Streaming in der Cloud

Der nächste Schritt auf deiner Streaming-Data-Reise ist zu lernen, wie du transformative Lambda-Funktionen nutzen kannst, um serverlos zu werden. In praktischen Übungen fügst du Lambda-Ebenen hinzu und löst Lambda-Funktionen bei bestimmten Bedingungen aus.

Serverlos werden

Lambda-Funktionen erstellen und ausführen

Serverlos vs. Server

Komponenten der Lambda-Funktion

Lesen von Daten aus S3 auf der Grundlage eines Ereignisses

Dein erstes Live-Lambda!

Hinzufügen einer Lambda-Ebene

Lambda flow

Umgebungsvariablen verwenden

Serverloser Daten-Workflow

Schnelle vs. langsame Lambdas

Ein zeitgesteuertes Lambda

Zeitgesteuerter Lambda-Code

Serverlose APIs

Ein API-Lambda erstellen

Eine serverlose API

Jetzt kannst du Streaming-Daten kodieren und dekodieren und die Daten direkt im Stream analysieren. Du wirst sogar mehrere Streams verwenden, um die täglichen Höchstgeschwindigkeiten der Fahrzeuge zu erhalten.

Ein transformatives Lambda

Daten innerhalb eines Streams umwandeln

Base64 kodieren und dekodieren

Erstellen eines Transformations-Lambdas

Ein einfaches Transformations-Lambda

Analysieren von Daten im Stream

Erstellen einer Kinesis-Datenanalyseanwendung

Optionen

Transformational Lambda

Kinesis Datenanalyse

Kinesis Data Analytics vs. Transformational Lambda

Kinesis Data Analytics Anwendung

Aufbau einer Kinesis-Datenanalyseanwendung

Kinesis Data Analytics Quelle

Referenzdaten

Kinesis Data Analytics Ziel

Kinesis data analytics SQL Komponenten

Mehrere Streams verwenden

Bereitstellung von Daten aus Kinesis Analytics

Erstellen eines Ziel-Firehose-Streams

Erhalte die tägliche Höchstgeschwindigkeit

Data-Science-Prozess

Verwendung von Kinesis-Datenanalysen für Warnungen

Analysieren von Streaming-Daten

In diesem letzten Kapitel erfährst du, wie du die Leistung deines Streams mithilfe von Protokollen, Metriken, Alarmen und Dashboards überwachen kannst. Du wirst Elasticsearch verwenden und dein eigenes Kibana-Dashboard erstellen.

Fallstudie zu Streaming-Daten

Erstellen eines Elasticsearch-Clusters

RedShift vs. Elasticsearch

Leistung überwachen

Cloudwatch dasbhoards und Alarme

Cloudwatch Komponenten

Cloudwatch Überwachungsablauf

Visualisierung von Streaming-Daten

Arbeiten mit ElasticSearch unter Verwendung von Kibana

Cloudwatch vs. Elasticsearch

Elasticsearch Visualisierungsablauf

Ein alternativer Ansatz

Ein anderer alternativer Ansatz

Überwachung und Visualisierung von Streaming-Daten

Was treibt die Systeme an, die wir jeden Tag benutzen, ohne es zu merken, wie z.B. die Betrugserkennung, die unsere Transaktionen sicher macht, oder die Verkehrssignale, die für einen reibungslosen Verkehrsfluss sorgen? Die Antwort sind Streaming-Daten (Daten, die kontinuierlich von verschiedenen Quellen erzeugt werden) und serverlose Technologien wie Amazon Kinesis und AWS Lambda.
<br /> <br />
In diesem Kurs lernst du, wie du diese leistungsstarken Technologien nutzen kannst, indem du einem fiktiven Dateningenieur namens Cody hilfst. Dein Ziel ist es, ihr dabei zu helfen, Echtzeit-Datenströme von stadteigenen Fahrzeugen zu sammeln, die Daten zu analysieren und relevante Warnungen wie Geschwindigkeitswarnungen an die Fahrer zu senden. Mit Amazon Kinesis und Firehose lernst du, wie du Daten aus Millionen von Quellen einlesen kannst, bevor du Kinesis Analytics nutzt, um die Daten zu analysieren, während sie sich durch den Stream bewegen. Du wirst auch serverlose Funktionen in AWS Lambda erstellen, die basierend auf den empfangenen Daten bedingte Aktionen auslösen. Am Ende dieser Schulung wirst du wissen, wie du mit AWS QuickSight und CloudWatch Live-Dashboards mit ElasticSearch erstellst - und hoffentlich Cody geholfen haben, ihr ehrgeiziges Projekt zu vollenden.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Erfahren Sie, wie Sie mit serverlosen Technologien auf AWS Streaming-Daten verarbeiten.

Datenstreaming mit AWS Kinesis und Lambda

Erlerne den Umgang mit kontinuierlichen Datenströmen mithilfe von serverlosen Technologien basierend auf AWS.

Analysieren von Daten im Stream

Create Your Free Account