In this first chapter, you will learn about the differences between batch and stream processing, create your first stream, manage its permissions, write to it and read from it.

What is streaming and why does it matter?

Batch vs stream

Producers and destinations

Managing Firehose delivery streams

Getting ready for the first stream

Creating roles

IAM users vs. roles

Permissions practice

S3 bucket creation

Working with the Firehose delivery stream

Create your first Firehose stream

Writing to a Firehose stream

Reading Firehose data

Streaming in the cloud

The next step in your streaming data journey is learning how to use transformational lambda functions to go serverless. Through hands-on exercises, you will add lambda layers and trigger lambda functions on specific conditions.

Going serverless

Creating and running Lambda functions

Serverless vs servers

Lambda function components

Reading data from S3 based on an event

Your first live lambda!

Adding a lambda layer

Lambda flow

Using environment variables

Serverless data workflow

Fast vs slow lambdas

A time-triggered lambda

Time-triggered lambda code

Serverless APIs

Create an API lambda

A serverless API

You're now ready to encode and decode streaming data and analyze data directly in the stream. You will even use multiple streams to get daily vehicle top speeds.

Una Lambda trasformativa

Trasformare i dati all'interno di un flusso

Codifica e decodifica base64

Una Lambda di trasformazione

Crea una Lambda di trasformazione

Una lambda di trasformazione essenziale

Analizzare i dati nello stream

Creare un'applicazione Kinesis Data Analytics

Opzioni

Lambda trasformazionale

Kinesis Data Analytics

Kinesis Data Analytics vs Lambda trasformazionale

Applicazione Kinesis Data Analytics

Origine Kinesis Data Analytics

Dati di riferimento

Destinazione Kinesis Data Analytics

Componenti SQL di Kinesis Data Analytics

Usare più stream

Distribuire i dati da Kinesis Analytics

Creare uno stream Firehose di destinazione

Ottieni la velocità massima giornaliera

Processo di Data Science

Usare Kinesis Data Analytics per gli avvisi

Analyzing streaming data

In this final chapter, you will discover how to monitor your stream's performance using logs, metrics, alarms and dashboards. You will use Elasticsearch and build your own Kibana dashboard.

Streaming data case study

Creating an Elasticsearch cluster

RedShift vs Elasticsearch

Monitoring performance

Cloudwatch dasbhoards and alarms

Cloudwatch components

Cloudwatch monitoring flow

Visualizing streaming data

Working with ElasticSearch using Kibana

Cloudwatch vs Elasticsearch

Elasticsearch visualization flow

An alternative approach

Another alternative approach

Monitoring and visualizing streaming data

Cosa alimenta, senza che ce ne accorgiamo, i sistemi che usiamo ogni giorno, come il rilevamento delle frodi che protegge le nostre transazioni o i semafori che tengono fluido il traffico? La risposta è lo streaming dei dati (dati generati in modo continuo da fonti diverse) e le tecnologie serverless—come Amazon Kinesis e AWS Lambda.
<br /> <br />
In questo corso imparerai a sfruttare queste tecnologie potenti aiutando una data engineer fittizia di nome Cody. Il tuo obiettivo è aiutarla a raccogliere dati in streaming in tempo reale dai veicoli di proprietà della città, analizzarli e inviare avvisi pertinenti, come segnalazioni di velocità, ai conducenti. Con Amazon Kinesis e Firehose imparerai a ingerire dati da milioni di fonti, per poi usare Kinesis Analytics per analizzare i dati mentre scorrono nello stream. Attiverai anche funzioni serverless in AWS Lambda che eseguiranno azioni in modo condizionale in base ai dati ricevuti. Al termine del corso saprai creare dashboard ElasticSearch in tempo reale con AWS QuickSight e CloudWatch—e, si spera, avrai aiutato Cody a portare a termine il suo ambizioso progetto.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Scopri come gestire dati in streaming con tecnologie serverless su AWS.

Dati in streaming con AWS Kinesis e Lambda

Scopri come lavorare con i dati in streaming usando le tecnologie serverless su AWS.

Vai alla Kinesis Console -> Data Analytics e crea una nuova applicazione di analytics.

Collega una sorgente di dati in streaming selezionando il tuo Firehose delivery stream.

Mentre lo stream viene scritto, fai clic su discover schema.

Modifica lo schema se necessario, poi salva.

Vai all'SQL Editor. Assicurati che il tuo SQL abbia una Destination Stream, una Stream Pump e che legga i dati dal Source Stream.

Seleziona una destinazione a cui inviare l'output.

Creare un'applicazione Kinesis Data Analytics

Dati in streaming con AWS Kinesis e Lambda

Esercizio pratico interattivo