W tym pierwszym rozdziale poznasz różnice między przetwarzaniem wsadowym a strumieniowym, utworzysz swój pierwszy strumień, zarządzisz jego uprawnieniami, a następnie będziesz do niego zapisywać dane i je z niego odczytywać.

Czym jest streaming i dlaczego ma znaczenie?

Przetwarzanie wsadowe a strumieniowe

Producenci i miejsca docelowe

Zarządzanie strumieniami dostarczania Firehose

Przygotowania do pierwszego strumienia

Tworzenie ról

Użytkownicy IAM a role

Ćwiczenie z uprawnień

Tworzenie zasobnika S3

Praca z strumieniem dostarczania Firehose

Utwórz swój pierwszy strumień Firehose

Zapisywanie do strumienia Firehose

Odczytywanie danych z Firehose

Strumieniowanie w chmurze

Kolejny krok w nauce strumieniowania danych to przekształcające funkcje lambda i podejście bezserwerowe. Dzięki praktycznym ćwiczeniom dodasz warstwy lambda i nauczysz się wyzwalać funkcje lambda w określonych warunkach.

Bez serwera

Tworzenie i uruchamianie funkcji Lambda

Serverless a serwery

Komponenty funkcji Lambda

Odczytywanie danych z S3 na podstawie zdarzenia

Twoja pierwsza funkcja lambda na żywo!

Dodawanie warstwy lambda

Przepływ Lambda

Używanie zmiennych środowiskowych

Bezserwerowy przepływ danych

Szybkie i wolne funkcje Lambda

Lambda wyzwalana czasowo

Kod funkcji lambda wyzwalanej czasowo

Bezserwerowe API

Tworzenie lambdy obsługującej API

Podejście bezserwerowe

Teraz czas na kodowanie i dekodowanie danych strumieniowych oraz analizowanie danych bezpośrednio w strumieniu. Wykorzystasz nawet wiele strumieni, aby uzyskać dzienne rekordy prędkości pojazdów.

Transformacyjna funkcja Lambda

Przekształcanie danych w strumieniu

Kodowanie i dekodowanie base64

Tworzenie transformacyjnej funkcji Lambda

Minimalna transformacyjna funkcja lambda

Analiza danych w strumieniu

Tworzenie aplikacji Kinesis Data Analytics

Opcje

Transformacyjna Lambda

Kinesis Data Analytics

Kinesis Data Analytics a transformacyjna Lambda

Aplikacja Kinesis Data Analytics

Źródło Kinesis Data Analytics

Dane referencyjne

Miejsce docelowe Kinesis Data Analytics

Komponenty SQL w Kinesis Data Analytics

Korzystanie z wielu strumieni

Dostarczanie danych z Kinesis Analytics

Tworzenie docelowego strumienia Firehose

Dzienna maksymalna prędkość

Proces Data Science

Korzystanie z Kinesis Data Analytics do alertów

Analiza danych strumieniowych

W tym ostatnim rozdziale dowiesz się, jak monitorować wydajność strumienia za pomocą logów, metryk, alarmów i dashboardów. Skorzystasz z Elasticsearch i zbudujesz własny dashboard w Kibanie.

Studium przypadku: dane strumieniowe

Tworzenie klastra Elasticsearch

RedShift vs Elasticsearch

Monitorowanie wydajności

Dashboardy i alarmy CloudWatch

Komponenty CloudWatch

Przepływ monitorowania w CloudWatch

Wizualizacja danych strumieniowych

Praca z ElasticSearch przy użyciu Kibany

CloudWatch a Elasticsearch

Przepływ wizualizacji w Elasticsearch

Alternatywne podejście

Monitorowanie i wizualizacja danych strumieniowych

Co stoi za systemami, z których korzystamy na co dzień, często nawet nie zdając sobie z tego sprawy – takimi jak wykrywanie oszustw chroniące nasze transakcje czy inteligentne sygnalizatory świetlne usprawniające ruch? Odpowiedzią są dane strumieniowe (dane generowane nieprzerwanie przez różne źródła) oraz technologie bezserwerowe – takie jak Amazon Kinesis i AWS Lambda.
<br /> <br />
W tym kursie nauczysz się wykorzystywać te zaawansowane technologie, pomagając fikcyjnej inżynierce danych o imieniu Cody. Twoim zadaniem będzie pomóc jej zbierać dane strumieniowe w czasie rzeczywistym z pojazdów miejskich, analizować te dane i wysyłać odpowiednie alerty – na przykład ostrzeżenia o przekroczeniu prędkości. Korzystając z Amazon Kinesis i Firehose, nauczysz się pobierać dane z milionów źródeł, a następnie analizować je w locie za pomocą Kinesis Analytics. Uruchomisz również funkcje bezserwerowe w AWS Lambda, które będą warunkowo wyzwalać działania na podstawie odebranych danych. Pod koniec kursu będziesz potrafić tworzyć dynamiczne dashboardy w ElasticSearch przy użyciu AWS QuickSight i CloudWatch – i masz szansę pomóc Cody ukończyć jej ambitny projekt.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Naucz się obsługiwać dane strumieniowe za pomocą technologii bezserwerowych na AWS.

Strumieniowanie danych z AWS Kinesis i Lambda

Naucz się pracować z danymi strumieniowymi, używając technologii serverless w AWS.

Data Engineer

Czas na ćwiczenia!

Analiza danych strumieniowych - Tworzenie aplikacji Kinesis Data Analytics

Tworzenie aplikacji Kinesis Data Analytics

Create Your Free Account