In this first chapter, you will learn about the differences between batch and stream processing, create your first stream, manage its permissions, write to it and read from it.

What is streaming and why does it matter?

Batch vs stream

Producers and destinations

Managing Firehose delivery streams

Getting ready for the first stream

Creating roles

IAM users vs. roles

Permissions practice

S3 bucket creation

Working with the Firehose delivery stream

Create your first Firehose stream

Writing to a Firehose stream

Reading Firehose data

Streaming in the cloud

The next step in your streaming data journey is learning how to use transformational lambda functions to go serverless. Through hands-on exercises, you will add lambda layers and trigger lambda functions on specific conditions.

Going serverless

Creating and running Lambda functions

Serverless vs servers

Lambda function components

Reading data from S3 based on an event

Your first live lambda!

Adding a lambda layer

Lambda flow

Using environment variables

Serverless data workflow

Fast vs slow lambdas

A time-triggered lambda

Time-triggered lambda code

Serverless APIs

Create an API lambda

A serverless API

You're now ready to encode and decode streaming data and analyze data directly in the stream. You will even use multiple streams to get daily vehicle top speeds.

Une transformation Lambda

Transformer des données à l'intérieur d'un flux

Encodage et décodage de base64

Créez un lambda transformationnel

Un lambda transformationnel dépouillé

Analyse des données dans le flux

Créer une application d'analyse de données Kinesis

Options

Lambda transformationnel

Kinesis Data Analytics

Analyse de données Kinesis contre Lambda transformationnel

Application Kinesis Data Analytics

Construire une application d'analyse de données Kinesis

Kinesis Data Analytics Source

Données de référence

Kinesis Data Analytics Destination

Kinesis data analytics SQL composants

Utilisation de plusieurs flux

Fournir des données à partir de Kinesis Analytics

Création d'un flux Firehose de destination

Obtenez la vitesse maximale quotidienne

Processus de science des données

Utiliser l'analyse de données Kinesis pour les alertes

Analyzing streaming data

In this final chapter, you will discover how to monitor your stream's performance using logs, metrics, alarms and dashboards. You will use Elasticsearch and build your own Kibana dashboard.

Streaming data case study

Creating an Elasticsearch cluster

RedShift vs Elasticsearch

Monitoring performance

Cloudwatch dasbhoards and alarms

Cloudwatch components

Cloudwatch monitoring flow

Visualizing streaming data

Working with ElasticSearch using Kibana

Cloudwatch vs Elasticsearch

Elasticsearch visualization flow

An alternative approach

Another alternative approach

Monitoring and visualizing streaming data

Qu'est-ce qui alimente les systèmes que nous utilisons tous les jours sans nous en rendre compte, comme la détection des fraudes qui garantit la sécurité de nos transactions ou les feux de signalisation qui assurent la fluidité du trafic ? La réponse est le streaming data (données générées en continu par différentes sources) et les technologies sans serveur, comme Amazon Kinesis et AWS Lambda.
<br /> <br />
Dans ce cours, vous apprendrez à tirer parti de ces puissantes technologies en aidant un ingénieur en données fictif nommé Cody. Votre objectif est de l'aider à collecter des données en temps réel à partir de véhicules appartenant à la ville, d'analyser ces données et d'envoyer des alertes pertinentes, comme des avertissements de vitesse, aux conducteurs. En utilisant Amazon Kinesis et Firehose, vous apprendrez à ingérer des données provenant de millions de sources avant d'utiliser Kinesis Analytics pour analyser les données au fur et à mesure qu'elles se déplacent dans le flux. Vous créerez également des fonctions sans serveur dans AWS Lambda qui déclencheront conditionnellement des actions en fonction des données reçues. À la fin de cette formation, vous saurez comment créer des tableaux de bord ElasticSearch en direct avec AWS QuickSight et CloudWatch et, je l'espère, aider Cody à mener à bien son ambitieux projet.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Apprenez à gérer les données en streaming avec les technologies serverless sur AWS.

Streaming de données avec AWS Kinesis et Lambda

Maîtrisez le traitement des données en streaming grâce aux technologies sans serveur d’AWS.

Chaque application ne peut avoir qu'un seul

Il peut s'agir d'un flux Firehose ou d'un flux de données.

Est un fichier de données statiques (CSV / JSON, etc) sur S3.

Utilisé pour joindre le flux source afin d'enrichir les données entrantes.

Il peut s'agir d'un flux de données Kinesis, d'un flux Firehose ou d'une fonction Lambda.

Une application Kinesis Data Analytics peut comporter au maximum 3 de ces éléments

Kinesis data analytics SQL composants

Exercice interactif pratique