In this first chapter, you will learn about the differences between batch and stream processing, create your first stream, manage its permissions, write to it and read from it.

What is streaming and why does it matter?

Batch vs stream

Producers and destinations

Managing Firehose delivery streams

Getting ready for the first stream

Creating roles

IAM users vs. roles

Permissions practice

S3 bucket creation

Working with the Firehose delivery stream

Create your first Firehose stream

Writing to a Firehose stream

Reading Firehose data

Streaming in the cloud

The next step in your streaming data journey is learning how to use transformational lambda functions to go serverless. Through hands-on exercises, you will add lambda layers and trigger lambda functions on specific conditions.

Going serverless

Creating and running Lambda functions

Serverless vs servers

Lambda function components

Reading data from S3 based on an event

Your first live lambda!

Adding a lambda layer

Lambda flow

Using environment variables

Serverless data workflow

Fast vs slow lambdas

A time-triggered lambda

Time-triggered lambda code

Serverless APIs

Create an API lambda

A serverless API

You're now ready to encode and decode streaming data and analyze data directly in the stream. You will even use multiple streams to get daily vehicle top speeds.

Ein transformatives Lambda

Daten innerhalb eines Streams umwandeln

Base64 kodieren und dekodieren

Erstellen eines Transformations-Lambdas

Ein einfaches Transformations-Lambda

Analysieren von Daten im Stream

Erstellen einer Kinesis-Datenanalyseanwendung

Optionen

Transformational Lambda

Kinesis Datenanalyse

Kinesis Data Analytics vs. Transformational Lambda

Kinesis Data Analytics Anwendung

Aufbau einer Kinesis-Datenanalyseanwendung

Kinesis Data Analytics Quelle

Referenzdaten

Kinesis Data Analytics Ziel

Kinesis data analytics SQL Komponenten

Mehrere Streams verwenden

Bereitstellung von Daten aus Kinesis Analytics

Erstellen eines Ziel-Firehose-Streams

Erhalte die tägliche Höchstgeschwindigkeit

Data-Science-Prozess

Verwendung von Kinesis-Datenanalysen für Warnungen

Analyzing streaming data

In this final chapter, you will discover how to monitor your stream's performance using logs, metrics, alarms and dashboards. You will use Elasticsearch and build your own Kibana dashboard.

Streaming data case study

Creating an Elasticsearch cluster

RedShift vs Elasticsearch

Monitoring performance

Cloudwatch dasbhoards and alarms

Cloudwatch components

Cloudwatch monitoring flow

Visualizing streaming data

Working with ElasticSearch using Kibana

Cloudwatch vs Elasticsearch

Elasticsearch visualization flow

An alternative approach

Another alternative approach

Monitoring and visualizing streaming data

Was treibt die Systeme an, die wir jeden Tag benutzen, ohne es zu merken, wie z.B. die Betrugserkennung, die unsere Transaktionen sicher macht, oder die Verkehrssignale, die für einen reibungslosen Verkehrsfluss sorgen? Die Antwort sind Streaming-Daten (Daten, die kontinuierlich von verschiedenen Quellen erzeugt werden) und serverlose Technologien wie Amazon Kinesis und AWS Lambda.
<br /> <br />
In diesem Kurs lernst du, wie du diese leistungsstarken Technologien nutzen kannst, indem du einem fiktiven Dateningenieur namens Cody hilfst. Dein Ziel ist es, ihr dabei zu helfen, Echtzeit-Datenströme von stadteigenen Fahrzeugen zu sammeln, die Daten zu analysieren und relevante Warnungen wie Geschwindigkeitswarnungen an die Fahrer zu senden. Mit Amazon Kinesis und Firehose lernst du, wie du Daten aus Millionen von Quellen einlesen kannst, bevor du Kinesis Analytics nutzt, um die Daten zu analysieren, während sie sich durch den Stream bewegen. Du wirst auch serverlose Funktionen in AWS Lambda erstellen, die basierend auf den empfangenen Daten bedingte Aktionen auslösen. Am Ende dieser Schulung wirst du wissen, wie du mit AWS QuickSight und CloudWatch Live-Dashboards mit ElasticSearch erstellst - und hoffentlich Cody geholfen haben, ihr ehrgeiziges Projekt zu vollenden.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Erfahren Sie, wie Sie mit serverlosen Technologien auf AWS Streaming-Daten verarbeiten.

Datenstreaming mit AWS Kinesis und Lambda

In diesem Kurs lernst du den Umgang mit kontinuierlichen Datenströmen mithilfe von serverlosen Technologien basierend auf AWS.

Gehe zu Kinesis Console -> Data Analytics und erstelle eine neue Analyseanwendung.

Verbinde eine Streaming-Datenquelle, indem du deinen Firehose Delivery Stream auswählst.

Während in den Stream geschrieben wird, klicke auf Schema entdecken.

Bearbeite das Schema nach Bedarf und speichere es dann.

Gehe zum SQL Editor. Vergewissere dich, dass dein SQL einen Ziel-Stream und eine Stream-Pumpe hat und Daten aus dem Quell-Stream bezieht.

Wähle ein Ziel aus, an das die Ausgabe gesendet werden soll.

Aufbau einer Kinesis-Datenanalyseanwendung

Interaktive praktische Übung