În acest prim capitol, vei afla care sunt diferențele dintre procesarea în lot și procesarea în flux, vei crea primul tău flux, îi vei gestiona permisiunile și vei scrie și citi date din el.

Ce este streaming-ul și de ce contează?

Loturi vs. flux

Producători și destinații

Gestionarea fluxurilor de livrare Firehose

Pregătire pentru primul flux

Crearea rolurilor

Utilizatori IAM vs. roluri IAM

Exercițiu cu permisiuni

Crearea unui bucket S3

Lucrul cu fluxul de livrare Firehose

Creează primul tău stream Firehose

Scrierea într-un stream Firehose

Citirea datelor din Firehose

Streaming în cloud

Următorul pas în parcursul tău cu date în flux este să înveți cum să folosești funcții lambda de transformare pentru a lucra serverless. Prin exerciții practice, vei adăuga straturi lambda și vei declanșa funcții lambda în condiții specifice.

Trecerea la serverless

Crearea și rularea funcțiilor Lambda

Serverless vs. servere

Componentele unei funcții Lambda

Citirea datelor din S3 pe baza unui eveniment

Prima ta funcție lambda live!

Adăugarea unui layer Lambda

Fluxul Lambda

Utilizarea variabilelor de mediu

Flux de date serverless

Lambda-uri rapide vs. lente

O funcție lambda declanșată la un moment fix

Cod lambda declanșat la interval de timp

API-uri serverless

Creează o funcție Lambda pentru API

Un API serverless

Acum ești pregătit să codezi și să decodezi date în flux și să le analizezi direct în flux. Vei folosi chiar mai multe fluxuri pentru a obține vitezele maxime zilnice ale vehiculelor.

Un Lambda transformațional

Transformarea datelor într-un flux

Codificare și decodificare base64

O funcție Lambda de transformare

Creează o funcție Lambda de transformare

O funcție lambda de transformare minimală

Analizarea datelor în flux

Crearea unei aplicații de analiză a datelor Kinesis

Opțiuni

Lambda transformațional

Kinesis Data Analytics

Kinesis Data Analytics vs. Lambda transformațional

Aplicație Kinesis Data Analytics

Crearea unei aplicații Kinesis Data Analytics

Sursă Kinesis Data Analytics

Date de referință

Destinație Kinesis Data Analytics

Componentele SQL din Kinesis Data Analytics

Utilizarea mai multor fluxuri

Livrarea datelor din Kinesis Analytics

Crearea unui flux Firehose de destinație

Obține viteza maximă zilnică

Procesul Data Science

Utilizarea Kinesis Data Analytics pentru alerte

Analiza datelor în flux

În acest capitol final, vei descoperi cum să monitorizezi performanța fluxului tău folosind jurnale, metrici, alarme și dashboarduri. Vei folosi Elasticsearch și îți vei construi propriul dashboard Kibana.

Studiu de caz: date în flux continuu

Crearea unui cluster Elasticsearch

RedShift vs Elasticsearch

Monitorizarea performanței

Dashboard-uri și alarme în CloudWatch

Componentele CloudWatch

Fluxul de monitorizare CloudWatch

Vizualizarea datelor în flux

Lucrul cu ElasticSearch folosind Kibana

CloudWatch vs. Elasticsearch

Fluxul de vizualizare în Elasticsearch

O abordare alternativă

O altă abordare alternativă

Monitorizarea și vizualizarea datelor în flux

Ce stă în spatele sistemelor pe care le folosim zilnic fără să ne dăm seama – de la detectarea fraudelor pentru a ne proteja tranzacțiile, până la semafoarele inteligente care fluidizează traficul? Răspunsul este datele în flux (date generate continuu din surse diverse) și tehnologiile serverless – precum Amazon Kinesis și AWS Lambda.
<br /> <br />
În acest curs, vei învăța cum să folosești aceste tehnologii puternice ajutând-o pe Cody, o ingineră de date fictivă. Obiectivul tău este să o ajuți să colecteze date în timp real de la vehiculele orașului, să le analizeze și să trimită alerte relevante – cum ar fi avertismente de viteză pentru șoferi. Folosind Amazon Kinesis și Firehose, vei învăța cum să preiei date din milioane de surse, apoi vei folosi Kinesis Analytics pentru a analiza datele pe măsură ce trec prin flux. Vei crea și funcții serverless în AWS Lambda care declanșează acțiuni în mod condiționat, în funcție de datele primite. La finalul cursului, vei ști cum să construiești dashboarduri live în ElasticSearch cu AWS QuickSight și CloudWatch – și, sperăm, o vei fi ajutat pe Cody să își ducă la bun sfârșit proiectul ambițios.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Învață să lucrezi cu date de streaming folosind tehnologii serverless pe AWS.

Date în flux cu AWS Kinesis și Lambda

Învață să lucrezi cu date în streaming folosind tehnologii serverless pe AWS.

Data Engineer

Să exersăm!

Analiza datelor în flux - Transformarea datelor într-un flux

Transformarea datelor într-un flux

Create Your Free Account