In this first chapter, you will learn about the differences between batch and stream processing, create your first stream, manage its permissions, write to it and read from it.

What is streaming and why does it matter?

Batch vs stream

Producers and destinations

Managing Firehose delivery streams

Getting ready for the first stream

Creating roles

IAM users vs. roles

Permissions practice

S3 bucket creation

Working with the Firehose delivery stream

Create your first Firehose stream

Writing to a Firehose stream

Reading Firehose data

Streaming in the cloud

The next step in your streaming data journey is learning how to use transformational lambda functions to go serverless. Through hands-on exercises, you will add lambda layers and trigger lambda functions on specific conditions.

Going serverless

Creating and running Lambda functions

Serverless vs servers

Lambda function components

Reading data from S3 based on an event

Your first live lambda!

Adding a lambda layer

Lambda flow

Using environment variables

Serverless data workflow

Fast vs slow lambdas

A time-triggered lambda

Time-triggered lambda code

Serverless APIs

Create an API lambda

A serverless API

You're now ready to encode and decode streaming data and analyze data directly in the stream. You will even use multiple streams to get daily vehicle top speeds.

Lambda yang transformatif

Mentransformasikan data di dalam sebuah stream

Menyandi dan mengurai base64

Lambda Transformasional

Buat Lambda transformasional

Sebuah lambda transformasi sederhana

Menganalisis data dalam stream

Membuat aplikasi analitik data Kinesis

Options

Transformational Lambda

Kinesis Data Analytics

Kinesis Data Analytics vs Transformational Lambda

Aplikasi Kinesis Data Analytics

Membangun aplikasi analitik data Kinesis

Opsi

Sumber Kinesis Data Analytics

Data Referensi

Tujuan Kinesis Data Analytics

Komponen SQL Kinesis Data Analytics

Menggunakan beberapa stream

Menyampaikan data dari Kinesis Analytics

Membuat stream Firehose tujuan

Dapatkan kecepatan puncak harian

Proses Data Science

Menggunakan Kinesis Data Analytics untuk peringatan

Analyzing streaming data

In this final chapter, you will discover how to monitor your stream's performance using logs, metrics, alarms and dashboards. You will use Elasticsearch and build your own Kibana dashboard.

Streaming data case study

Creating an Elasticsearch cluster

RedShift vs Elasticsearch

Monitoring performance

Cloudwatch dasbhoards and alarms

Cloudwatch components

Cloudwatch monitoring flow

Visualizing streaming data

Working with ElasticSearch using Kibana

Cloudwatch vs Elasticsearch

Elasticsearch visualization flow

An alternative approach

Another alternative approach

Monitoring and visualizing streaming data

Apa yang menggerakkan sistem yang kita gunakan setiap hari tanpa kita sadari, seperti deteksi penipuan untuk menjaga keamanan transaksi atau lampu lalu lintas yang membuat arus kendaraan tetap lancar? Jawabannya adalah data streaming (data yang dihasilkan terus-menerus dari berbagai sumber) dan teknologi tanpa server—seperti Amazon Kinesis dan AWS Lambda.
<br /> <br />
Dalam kursus ini, Anda akan mempelajari cara memanfaatkan teknologi kuat tersebut dengan membantu seorang data engineer fiksi bernama Cody. Tujuan Anda adalah membantunya mengumpulkan data streaming waktu nyata dari kendaraan milik kota, menganalisis data tersebut, dan mengirim peringatan yang relevan seperti peringatan kecepatan kepada pengemudi. Dengan Amazon Kinesis dan Firehose, Anda akan belajar cara mengumpulkan data dari jutaan sumber sebelum menggunakan Kinesis Analytics untuk menganalisis data saat data mengalir dalam stream. Anda juga akan membuat fungsi tanpa server di AWS Lambda yang akan memicu tindakan secara kondisional berdasarkan data yang diterima. Pada akhir pelatihan ini Anda akan mengetahui cara membuat dasbor ElasticSearch langsung dengan AWS QuickSight dan CloudWatch—dan semoga membantu Cody menyelesaikan proyek ambisiusnya.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Pelajari cara bekerja dengan data streaming menggunakan teknologi serverless di AWS.

Streaming Data dengan AWS Kinesis dan Lambda

Masuk ke Kinesis Console -> Data Analytics dan buat aplikasi analitik baru.

Hubungkan sumber data streaming dengan memilih Firehose delivery stream Anda.

Saat stream sedang ditulisi data, klik discover schema.

Edit skema sesuai kebutuhan, lalu simpan.

Buka SQL Editor. Pastikan SQL Anda memiliki Destination Stream, Stream Pump, dan mengambil data dari Source Stream.

Membangun aplikasi analitik data Kinesis

Streaming Data dengan AWS Kinesis dan Lambda

Latihan interaktif praktis