In this first chapter, you will learn about the differences between batch and stream processing, create your first stream, manage its permissions, write to it and read from it.

What is streaming and why does it matter?

Batch vs stream

Producers and destinations

Managing Firehose delivery streams

Getting ready for the first stream

Creating roles

IAM users vs. roles

Permissions practice

S3 bucket creation

Working with the Firehose delivery stream

Create your first Firehose stream

Writing to a Firehose stream

Reading Firehose data

Streaming in the cloud

The next step in your streaming data journey is learning how to use transformational lambda functions to go serverless. Through hands-on exercises, you will add lambda layers and trigger lambda functions on specific conditions.

Going serverless

Creating and running Lambda functions

Serverless vs servers

Lambda function components

Reading data from S3 based on an event

Your first live lambda!

Adding a lambda layer

Lambda flow

Using environment variables

Serverless data workflow

Fast vs slow lambdas

A time-triggered lambda

Time-triggered lambda code

Serverless APIs

Create an API lambda

A serverless API

You're now ready to encode and decode streaming data and analyze data directly in the stream. You will even use multiple streams to get daily vehicle top speeds.

Um Lambda transformacional

Transformação de dados em um fluxo

Codificação e decodificação de base64

Criar um lambda transformacional

Um lambda transformacional básico

Análise de dados no fluxo

Criando um aplicativo de análise de dados do Kinesis

Opções

Lambda transformacional

Análise de dados do Kinesis

Análise de dados do Kinesis versus Lambda transformacional

Aplicativo de análise de dados do Kinesis

Criação de um aplicativo de análise de dados do Kinesis

Fonte de análise de dados do Kinesis

Dados de referência

Destino da análise de dados do Kinesis

Análise de dados do Kinesis SQL componentes

Uso de vários fluxos

Fornecimento de dados do Kinesis Analytics

Criando um fluxo de destino do Firehose

Obtenha a velocidade máxima diária

Processo de ciência de dados

Usando a análise de dados do Kinesis para alertas

Analyzing streaming data

In this final chapter, you will discover how to monitor your stream's performance using logs, metrics, alarms and dashboards. You will use Elasticsearch and build your own Kibana dashboard.

Streaming data case study

Creating an Elasticsearch cluster

RedShift vs Elasticsearch

Monitoring performance

Cloudwatch dasbhoards and alarms

Cloudwatch components

Cloudwatch monitoring flow

Visualizing streaming data

Working with ElasticSearch using Kibana

Cloudwatch vs Elasticsearch

Elasticsearch visualization flow

An alternative approach

Another alternative approach

Monitoring and visualizing streaming data

O que alimenta os sistemas que usamos todos os dias sem perceber, como a detecção de fraudes para manter nossas transações seguras ou os sinais de trânsito que mantêm o tráfego fluindo sem problemas? A resposta são os dados de streaming (dados gerados continuamente por diferentes fontes) e as tecnologias sem servidor, como o Amazon Kinesis e o AWS Lambda.
<br /> <br />
Neste curso, você aprenderá a aproveitar essas tecnologias poderosas ajudando um engenheiro de dados fictício chamado Cody. Seu objetivo é ajudá-la a coletar dados de streaming em tempo real de veículos de propriedade da cidade, analisar os dados e enviar alertas relevantes, como avisos de velocidade aos motoristas. Usando o Amazon Kinesis e o Firehose, você aprenderá a ingerir dados de milhões de fontes antes de usar o Kinesis Analytics para analisar os dados à medida que eles passam pelo fluxo. Você também criará funções sem servidor no AWS Lambda que acionarão condicionalmente ações com base nos dados recebidos. Ao final deste treinamento, você saberá como criar dashboards do ElasticSearch ao vivo com o AWS QuickSight e o CloudWatch e, com sorte, ajudará Cody a concluir seu ambicioso projeto.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Aprenda a trabalhar com dados em streaming usando tecnologias serverless na AWS.

Streaming de dados com AWS Kinesis e Lambda

Saiba como trabalhar com dados em tempo real usando tecnologias sem servidor na AWS.

Vá para o Console do Kinesis -> Análise de dados e crie um novo aplicativo de análise.

Conecte uma fonte de dados de streaming selecionando o fluxo de entrega do Firehose.

Enquanto o fluxo estiver sendo gravado, clique em discover schema (descobrir esquema).

Edite o esquema conforme necessário e, em seguida, salve.

Acesse o SQL Editor. Certifique-se de que o SQL tenha um fluxo de destino, uma bomba de fluxo e esteja extraindo dados do fluxo de origem.

Selecione um destino para o qual enviar a saída.

Criação de um aplicativo de análise de dados do Kinesis

Streaming de dados com AWS Kinesis e Lambda

exercicio interativo prático