In this first chapter, you will learn about the differences between batch and stream processing, create your first stream, manage its permissions, write to it and read from it.

What is streaming and why does it matter?

Batch vs stream

Producers and destinations

Managing Firehose delivery streams

Getting ready for the first stream

Creating roles

IAM users vs. roles

Permissions practice

S3 bucket creation

Working with the Firehose delivery stream

Create your first Firehose stream

Writing to a Firehose stream

Reading Firehose data

Streaming in the cloud

The next step in your streaming data journey is learning how to use transformational lambda functions to go serverless. Through hands-on exercises, you will add lambda layers and trigger lambda functions on specific conditions.

Going serverless

Creating and running Lambda functions

Serverless vs servers

Lambda function components

Reading data from S3 based on an event

Your first live lambda!

Adding a lambda layer

Lambda flow

Using environment variables

Serverless data workflow

Fast vs slow lambdas

A time-triggered lambda

Time-triggered lambda code

Serverless APIs

Create an API lambda

A serverless API

You're now ready to encode and decode streaming data and analyze data directly in the stream. You will even use multiple streams to get daily vehicle top speeds.

Dönüştürücü bir Lambda

Bir akış içinde veriyi dönüştürme

base64 ile kodlama ve kod çözme

Bir Dönüştürücü Lambda

Dönüştürücü bir lambda oluştur

Basit bir dönüştürücü lambda

Akıştaki verileri analiz etme

Bir Kinesis veri analitiği uygulaması oluşturma

Seçenekler

Dönüşümsel Lambda

Kinesis Data Analytics

Kinesis data analytics vs dönüşümsel Lambda

Kinesis Data Analytics Uygulaması

Bir Kinesis data analytics uygulaması oluşturma

Kinesis Data Analytics Kaynağı

Başvuru Verisi

Kinesis Data Analytics Hedefi

Kinesis Data Analytics SQL bileşenleri

Birden fazla akış kullanma

Kinesis Analytics'ten veri gönderme

Bir hedef Firehose akışı oluşturma

Günlük en yüksek hızı al

Veri Bilimi Süreci

Uyarılar için Kinesis veri analitiğini kullanma

Analyzing streaming data

In this final chapter, you will discover how to monitor your stream's performance using logs, metrics, alarms and dashboards. You will use Elasticsearch and build your own Kibana dashboard.

Streaming data case study

Creating an Elasticsearch cluster

RedShift vs Elasticsearch

Monitoring performance

Cloudwatch dasbhoards and alarms

Cloudwatch components

Cloudwatch monitoring flow

Visualizing streaming data

Working with ElasticSearch using Kibana

Cloudwatch vs Elasticsearch

Elasticsearch visualization flow

An alternative approach

Another alternative approach

Monitoring and visualizing streaming data

Günlük hayatta fark etmeden kullandığımız sistemleri — örneğin işlemlerimizi güvende tutan dolandırıcılık tespiti ya da trafiğin akışını düzenleyen trafik ışıkları — hangi teknoloji çalıştırıyor? Cevap: akış verileri (farklı kaynaklar tarafından sürekli üretilen veriler) ve Amazon Kinesis ile AWS Lambda gibi sunucusuz teknolojiler.
<br /> <br />
Bu derste, bu güçlü teknolojilerden nasıl yararlanacağını, kurgusal bir veri mühendisi olan Cody’e yardım ederek öğreneceksin. Amacın, şehir araçlarından gerçek zamanlı akış verisi toplamasına, bu veriyi analiz etmesine ve sürücülere hız uyarıları gibi ilgili bildirimler göndermesine yardımcı olmak. Amazon Kinesis ve Firehose kullanarak milyonlarca kaynaktan veri almayı; ardından veri akış içindeyken Kinesis Analytics ile analiz etmeyi öğreneceksin. AWS Lambda’da, gelen veriye göre koşullu olarak eylem tetikleyen sunucusuz fonksiyonlar da çalıştıracaksın. Eğitimin sonunda AWS QuickSight ve CloudWatch ile canlı ElasticSearch panoları oluşturmayı bilecek — ve umarız Cody’nin iddialı projesini tamamlamasına yardım etmiş olacaksın.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

AWS üzerinde sunucusuz teknolojilerle akış verileriyle çalışmayı öğrenin.

AWS Kinesis ve Lambda ile Akış Verileri

AWS'de sunucusuz teknolojileri kullanarak akış verileriyle nasıl çalışılacağını öğrenin.

Kinesis Console -> Data Analytics’e git ve yeni bir analytics uygulaması oluştur.

Firehose teslim akışını (delivery stream) seçerek bir akış verisi kaynağı bağla.

Akışa yazım devam ederken, şemayı keşfet’e (discover schema) tıkla.

Gerektiğinde şemayı düzenle ve kaydet.

SQL Editor’a git. SQL’inin bir Destination Stream, bir Stream Pump içerdiğinden ve veriyi Source Stream’den çektiğinden emin ol.

Çıktıyı göndermek için bir hedef seç.

Bir Kinesis data analytics uygulaması oluşturma

AWS Kinesis ve Lambda ile Akış Verileri

Uygulamalı interaktif egzersiz