En este primer capítulo, conocerás las diferencias entre el procesamiento por lotes y por flujos, crearás tu primer flujo, gestionarás sus permisos, escribirás en él y leerás de él.

¿Qué es el streaming y por qué es importante?

Lote vs flujo

Productores y destinos

Gestionar flujos de entrega Firehose

Preparándose para el primer flujo

Crear roles

IAM usuarios vs. roles

Práctica de permisos

Creación de bucket S3

Trabajar con el flujo de entrega Firehose

Crea tu primer flujo Firehose

Escribir en un flujo Firehose

Lectura de datos Firehose

Streaming en la nube

El siguiente paso en tu viaje por el streaming de datos es aprender a utilizar funciones lambda transformacionales para ir sin servidor. Mediante ejercicios prácticos, añadirás capas lambda y activarás funciones lambda en condiciones específicas.

Sin servidores

Crear y ejecutar funciones Lambda

Sin servidor vs servidores

Componentes de la función lambda

Lectura de datos de S3 basada en un evento

¡Tu primer lambda en directo!

Añadir una capa lambda

Lambda flow

Utilizar variables de entorno

Flujo de trabajo de datos sin servidor

Lambdas rápidas vs. lentas

Una lambda temporizada

Código lambda temporizado

Sin servidor APIs

Crea una lambda API

Un servidor sin API

Ya estás preparado para codificar y descodificar datos de flujo y analizarlos directamente en el flujo. Incluso utilizarás varios flujos para obtener las velocidades máximas diarias de los vehículos.

Una lambda transformadora

Transformar datos dentro de un flujo

Codificar y descodificar base64

Crea una lambda transformacional

Una lambda transformacional básica

Analizar datos en el flujo

Crear una aplicación de análisis de datos Kinesis

Análisis de datos Kinesis frente a Lambda transformacional

Construir una aplicación de análisis de datos Kinesis

Componentes de análisis de datos Kinesis SQL

Utilizar varios flujos

Entrega de datos de Kinesis Analytics

Consigue la velocidad máxima diaria

Utilizar el análisis de datos Kinesis para las alertas

Analizar datos de streaming

En este último capítulo, descubrirás cómo supervisar el rendimiento de tu flujo utilizando registros, métricas, alarmas y cuadros de mando. Utilizarás Elasticsearch y construirás tu propio panel de control Kibana.

Estudio de caso de streaming de datos

Crear un clúster de Elasticsearch

Opciones

Análisis de datos Kinesis

Búsqueda elástica

Amazon RedShift

RedShift vs Elasticsearch

Control del rendimiento

Cloudwatch dasbhoards y alarmas

Métricas de CloudWatch

Alarmas de CloudWatch

Cuadros de mando de CloudWatch

Componentes de Cloudwatch

Monitorización de Lambda

Flujo de monitorización de Cloudwatch

Visualizar datos en streaming

Trabajar con ElasticSearch utilizando Kibana

Amazon CloudWatch

Cloudwatch vs Elasticsearch

Flujo de visualización de Elasticsearch

Alertas tras la Transformación Kinesis Lambda

Un enfoque alternativo

Otro enfoque alternativo

Monitorización y visualización de datos en streaming

¿Qué hace funcionar los sistemas que utilizamos todos los días sin darnos cuenta, como la detección de fraudes para mantener seguras nuestras transacciones o las señales de tráfico que mantienen la fluidez del tráfico? La respuesta son los datos en streaming (datos que se generan continuamente a partir de distintas fuentes) y las tecnologías sin servidor, como Amazon Kinesis y AWS Lambda.
<br /> <br />
En este curso, aprenderás a aprovechar estas potentes tecnologías ayudando a un ingeniero de datos ficticio llamado Cody. Tu objetivo es ayudarla a recopilar datos de flujo en tiempo real de los vehículos propiedad de la ciudad, analizar los datos y enviar alertas relevantes, como avisos de velocidad, a los conductores. Utilizando Amazon Kinesis y Firehose, aprenderás a ingerir datos de millones de fuentes antes de utilizar Kinesis Analytics para analizar los datos a medida que se mueven por el flujo. También crearás funciones sin servidor en AWS Lambda que desencadenarán condicionalmente acciones basadas en los datos recibidos. Al final de esta formación sabrás cómo crear cuadros de mando de ElasticSearch en directo con AWS QuickSight y CloudWatch, y con suerte habrás ayudado a Cody a completar su ambicioso proyecto.


Introduction to AWS Boto in Python

Introduction to Shell

Streaming Concepts

Aprende a trabajar con datos en streaming usando tecnologías serverless en AWS.

Streaming de datos con AWS Kinesis y Lambda

Aprende a trabajar con datos de streaming utilizando tecnologías sin servidor en AWS.

Data Engineer

Visualizing streaming data

Our pipeline so far

Kibana Discover view

Kibana visualizations

Dashboards and alerts

Elasticsearch vs CloudWatch

Let's practice!

Monitorización y visualización de datos en streaming - Visualizar datos en streaming

Visualizar datos en streaming

Create Your Free Account