Pada bab pertama ini, Anda akan mempelajari perbedaan antara pemrosesan batch dan stream, membuat stream pertama Anda, mengelola izinnya, menulis ke stream, dan membacanya.

Apa itu streaming dan mengapa hal itu penting?

Batch vs stream

Produser dan destination

Mengelola Firehose delivery stream

Bersiap untuk stream pertama

Membuat role

Perbandingan IAM users vs. roles

Latihan izin akses

Pembuatan bucket S3

Bekerja dengan delivery stream Firehose

Buat Firehose stream pertama Anda

Menulis ke stream Firehose

Membaca data Firehose

Streaming di cloud

Langkah berikutnya dalam perjalanan data streaming Anda adalah mempelajari cara menggunakan fungsi lambda transformasional untuk beralih ke arsitektur tanpa server. Melalui latihan praktik, Anda akan menambahkan lapisan lambda dan memicu fungsi lambda berdasarkan kondisi tertentu.

Menuju serverless

Membuat dan menjalankan fungsi Lambda

Serverless vs server

Komponen fungsi Lambda

Membaca data dari S3 berdasarkan sebuah peristiwa

Lambda live pertama Anda!

Menambahkan lapisan lambda

Alur Lambda

Menggunakan variabel lingkungan

Alur kerja data tanpa server

Lambda cepat vs lambat

Lambda yang dipicu oleh waktu

Kode lambda berbasis jadwal waktu

API tanpa server

Buat Lambda API

Menuju tanpa server

Sekarang Anda siap untuk melakukan encoding dan decoding data streaming serta menganalisis data langsung di dalam stream. Anda bahkan akan menggunakan beberapa stream untuk mendapatkan kecepatan puncak harian kendaraan.

Lambda yang transformatif

Mentransformasikan data di dalam sebuah stream

Menyandi dan mengurai base64

Lambda Transformasional

Buat Lambda transformasional

Sebuah lambda transformasi sederhana

Menganalisis data dalam stream

Membuat aplikasi analitik data Kinesis

Options

Transformational Lambda

Kinesis Data Analytics

Kinesis Data Analytics vs Transformational Lambda

Aplikasi Kinesis Data Analytics

Membangun aplikasi analitik data Kinesis

Opsi

Sumber Kinesis Data Analytics

Data Referensi

Tujuan Kinesis Data Analytics

Komponen SQL Kinesis Data Analytics

Menggunakan beberapa stream

Menyampaikan data dari Kinesis Analytics

Membuat stream Firehose tujuan

Dapatkan kecepatan puncak harian

Proses Data Science

Menggunakan Kinesis Data Analytics untuk peringatan

Menganalisis data streaming

Di bab terakhir ini, Anda akan mempelajari cara memantau kinerja stream menggunakan log, metrik, alarm, dan dasbor. Anda akan menggunakan Elasticsearch dan membangun dasbor Kibana Anda sendiri.

Studi kasus data streaming

Membuat klaster Elasticsearch

RedShift vs Elasticsearch

Memantau kinerja

Dasbor dan alarm CloudWatch

Komponen CloudWatch

Alur pemantauan CloudWatch

Memvisualisasikan data streaming

Bekerja dengan ElasticSearch menggunakan Kibana

CloudWatch vs Elasticsearch

Alur visualisasi Elasticsearch

Pendekatan alternatif

Pendekatan alternatif lainnya

Memantau dan memvisualisasikan data streaming

Apa yang menggerakkan sistem yang kita gunakan setiap hari tanpa kita sadari, seperti deteksi penipuan untuk menjaga keamanan transaksi atau lampu lalu lintas yang membuat arus kendaraan tetap lancar? Jawabannya adalah data streaming (data yang dihasilkan terus-menerus dari berbagai sumber) dan teknologi tanpa server—seperti Amazon Kinesis dan AWS Lambda.
<br /> <br />
Dalam kursus ini, Anda akan mempelajari cara memanfaatkan teknologi kuat tersebut dengan membantu seorang data engineer fiksi bernama Cody. Tujuan Anda adalah membantunya mengumpulkan data streaming waktu nyata dari kendaraan milik kota, menganalisis data tersebut, dan mengirim peringatan yang relevan seperti peringatan kecepatan kepada pengemudi. Dengan Amazon Kinesis dan Firehose, Anda akan belajar cara mengumpulkan data dari jutaan sumber sebelum menggunakan Kinesis Analytics untuk menganalisis data saat data mengalir dalam stream. Anda juga akan membuat fungsi tanpa server di AWS Lambda yang akan memicu tindakan secara kondisional berdasarkan data yang diterima. Pada akhir pelatihan ini Anda akan mengetahui cara membuat dasbor ElasticSearch langsung dengan AWS QuickSight dan CloudWatch—dan semoga membantu Cody menyelesaikan proyek ambisiusnya.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Pelajari cara bekerja dengan data streaming menggunakan teknologi serverless di AWS.

Streaming Data dengan AWS Kinesis dan Lambda

Setiap aplikasi hanya dapat memiliki satu

Dapat berupa stream Firehose atau Data Stream

Merupakan berkas data statis (CSV/JSON, dll.) di S3.

Digunakan untuk join dengan sumber stream guna memperkaya data yang masuk.

Dapat berupa Kinesis Data Stream, Firehose Stream, atau fungsi Lambda

Satu aplikasi Kinesis Data Analytics dapat memiliki paling banyak 3 tujuan ini

Komponen SQL Kinesis Data Analytics

Streaming Data dengan AWS Kinesis dan Lambda

Latihan interaktif langsung