In dit eerste hoofdstuk leer je het verschil tussen batch- en streamverwerking kennen, maak je je eerste stream, beheer je de rechten, en schrijf en lees je naar en van de stream.

Wat is streaming en waarom is het belangrijk?

Batch vs. stream

Producers en destinations

Firehose-delivery streams beheren

Klaarmaken voor de eerste stream

Rollen maken

IAM-gebruikers versus rollen

Oefenen met machtigingen

S3-bucket maken

Werken met de Firehose-deliverystream

Maak je eerste Firehose-stream

Schrijven naar een Firehose-stream

Firehose-gegevens lezen

Streamen in de cloud

De volgende stap in je streaming data-reis is leren hoe je transformerende lambda-functies gebruikt om serverless te gaan. In praktische oefeningen voeg je lambda-lagen toe en trigger je lambda-functies bij specifieke voorwaarden.

Serverless gaan

Lambda-functies maken en uitvoeren

Serverless vs servers

Onderdelen van een Lambda-functie

Gegevens uit S3 lezen op basis van een event

Je eerste live lambda!

Een lambda-laag toevoegen

Lambda-flow

Omgevingsvariabelen gebruiken

Serverloze dataworkflow

Snelle vs. langzame Lambdas

Een tijdgetriggerde Lambda

Tijdgestuurde lambda-code

Serverless API's

Maak een API-lambda

Een serverloze API

Je bent nu klaar om streaming data te encoderen en decoderen en data direct in de stream te analyseren. Je gebruikt zelfs meerdere streams om dagelijkse topsnelheden van voertuigen te krijgen.

Een transformerende Lambda

Data transformeren binnen een stream

Coderen en decoderen van base64

Maak een transformationele Lambda

Een minimalistische transformationele lambda

Data analyseren in de stream

Een Kinesis Data Analytics-toepassing maken

Kinesis Data Analytics vs transformationele Lambda

Een Kinesis Data Analytics-toepassing bouwen

Kinesis Data Analytics SQL-componenten

Meerdere streams gebruiken

Data leveren vanuit Kinesis Analytics

Bepaal de dagelijkse topsnelheid

Kinesis Data Analytics gebruiken voor meldingen

Streaming data analyseren

In dit laatste hoofdstuk ontdek je hoe je de prestaties van je stream monitort met logs, metrische gegevens, alarmen en dashboards. Je gebruikt Elasticsearch en bouwt je eigen Kibana-dashboard.

Praktijkcase streaming data

Een Elasticsearch-cluster maken

Options

Kinesis Data Analytics

Elastic Search

Amazon RedShift

RedShift vs Elasticsearch

Prestaties monitoren

CloudWatch-dashboards en -alarmen

Opties

CloudWatch Metrics

CloudWatch Alarms

CloudWatch Dashboards

CloudWatch-onderdelen

Lambda monitoren

CloudWatch-monitoringflow

Streaminggegevens visualiseren

Werken met ElasticSearch in Kibana

Elasticsearch

Amazon CloudWatch

CloudWatch vs Elasticsearch

Stroom voor Elasticsearch-visualisaties

Alerts na Kinesis Lambda Transform

Een alternatieve aanpak

Nog een alternatieve aanpak

Streaming data monitoren en visualiseren

Wat drijft systemen die we dagelijks gebruiken zonder dat we het merken, zoals fraudedetectie die onze transacties beveiligt of verkeerslichten die het verkeer soepel laten doorstromen? Het antwoord is streaming data (data die continu door verschillende bronnen wordt gegenereerd) en serverless-technologieën—zoals Amazon Kinesis en AWS Lambda.
<br /> <br />
In deze cursus leer je hoe je deze krachtige technologieën inzet door een fictieve data-engineer, Cody, te helpen. Je doel is om haar te helpen realtime streaming data van gemeentelijke voertuigen te verzamelen, de data te analyseren en relevante waarschuwingen—zoals snelheidsmeldingen—naar bestuurders te sturen. Met Amazon Kinesis en Firehose leer je data in te lezen van miljoenen bronnen, waarna je Kinesis Analytics gebruikt om data te analyseren terwijl die door de stream beweegt. Je zet ook serverless-functies op in AWS Lambda die voorwaardelijk acties starten op basis van de ontvangen data. Aan het einde van deze training weet je hoe je live ElasticSearch-dashboards maakt met AWS QuickSight en CloudWatch—en heb je hopelijk Cody geholpen haar ambitieuze project te voltooien.


CloudWatch-dashboards en -alarmen

Create Your Free Account