In questo primo capitolo scoprirai le differenze tra elaborazione batch e in streaming, creerai il tuo primo stream, ne gestirai i permessi, ci scriverai e leggerai da esso.

Che cos’è lo streaming e perché è importante?

Batch vs stream

Produttori e destinazioni

Gestire i delivery stream di Firehose

Prepararsi al primo stream

Creare ruoli

Utenti IAM vs. ruoli

Esercizio sulle autorizzazioni

Creazione di un bucket S3

Lavorare con il delivery stream di Firehose

Crea il tuo primo stream Firehose

Scrivere in uno stream Firehose

Lettura dei dati Firehose

Streaming nel cloud

Il passo successivo nel tuo percorso sullo streaming è imparare a usare funzioni Lambda di trasformazione per passare al serverless. Con esercizi pratici, aggiungerai layer Lambda e attiverai funzioni Lambda al verificarsi di condizioni specifiche.

Passare al serverless

Creare ed eseguire funzioni Lambda

Serverless vs server

Componenti di una funzione Lambda

Lettura dei dati da S3 in base a un evento

La tua prima lambda live!

Aggiungere un layer Lambda

Flusso Lambda

Uso delle variabili d'ambiente

Flusso di lavoro dati serverless

Lambda veloci vs lente

Una Lambda attivata a orario

Codice Lambda attivato a tempo

API serverless

Crea una Lambda per API

Un'API serverless

Ora sei pronto per codificare e decodificare dati in streaming e analizzarli direttamente nello stream. Userai anche più stream per ottenere le velocità massime giornaliere dei veicoli.

Una Lambda trasformativa

Trasformare i dati all'interno di un flusso

Codifica e decodifica base64

Una Lambda di trasformazione

Crea una Lambda di trasformazione

Una lambda di trasformazione essenziale

Analizzare i dati nello stream

Creare un'applicazione Kinesis Data Analytics

Opzioni

Lambda trasformazionale

Kinesis Data Analytics

Kinesis Data Analytics vs Lambda trasformazionale

Applicazione Kinesis Data Analytics

Origine Kinesis Data Analytics

Dati di riferimento

Destinazione Kinesis Data Analytics

Componenti SQL di Kinesis Data Analytics

Usare più stream

Distribuire i dati da Kinesis Analytics

Creare uno stream Firehose di destinazione

Ottieni la velocità massima giornaliera

Processo di Data Science

Usare Kinesis Data Analytics per gli avvisi

Analizzare dati in streaming

In questo capitolo finale scoprirai come monitorare le prestazioni del tuo stream usando log, metriche, allarmi e dashboard. Userai Elasticsearch e costruirai la tua dashboard Kibana.

Caso di studio sui dati in streaming

Creare un cluster Elasticsearch

RedShift vs Elasticsearch

Monitorare le prestazioni

Dashboard e allarmi di CloudWatch

Componenti di CloudWatch

Flusso di monitoraggio CloudWatch

Visualizzare i dati in streaming

Lavorare con ElasticSearch usando Kibana

CloudWatch vs Elasticsearch

Flusso di visualizzazione in Elasticsearch

Un approccio alternativo

Un altro approccio alternativo

Monitorare e visualizzare dati in streaming

Cosa alimenta, senza che ce ne accorgiamo, i sistemi che usiamo ogni giorno, come il rilevamento delle frodi che protegge le nostre transazioni o i semafori che tengono fluido il traffico? La risposta è lo streaming dei dati (dati generati in modo continuo da fonti diverse) e le tecnologie serverless—come Amazon Kinesis e AWS Lambda.
<br /> <br />
In questo corso imparerai a sfruttare queste tecnologie potenti aiutando una data engineer fittizia di nome Cody. Il tuo obiettivo è aiutarla a raccogliere dati in streaming in tempo reale dai veicoli di proprietà della città, analizzarli e inviare avvisi pertinenti, come segnalazioni di velocità, ai conducenti. Con Amazon Kinesis e Firehose imparerai a ingerire dati da milioni di fonti, per poi usare Kinesis Analytics per analizzare i dati mentre scorrono nello stream. Attiverai anche funzioni serverless in AWS Lambda che eseguiranno azioni in modo condizionale in base ai dati ricevuti. Al termine del corso saprai creare dashboard ElasticSearch in tempo reale con AWS QuickSight e CloudWatch—e, si spera, avrai aiutato Cody a portare a termine il suo ambizioso progetto.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Scopri come gestire dati in streaming con tecnologie serverless su AWS.

Dati in streaming con AWS Kinesis e Lambda

Scopri come lavorare con i dati in streaming usando le tecnologie serverless su AWS.

Può essere un flusso Firehose o un Data Stream

È un file di dati statico (CSV / JSON, ecc.) su S3.

Usato per fare join con il flusso di origine e arricchire i dati in arrivo.

Può essere un Kinesis Data Stream, un Firehose Stream o una funzione Lambda

Un'applicazione Kinesis Data Analytics può averne al massimo 3

Componenti SQL di Kinesis Data Analytics

Dati in streaming con AWS Kinesis e Lambda

esercizio interattivo pratico