Leitura de dados do Firehose
Nos dois últimos exercícios, você criou um bucket S3 de destino ("sd-vehicle-data"
) e um fluxo Firehose ("gps-delivery-stream"
). Você gravou registros no fluxo que foram entregues ao balde.
Agora é hora de ler esses registros e fazer algumas análises básicas. Se for bem-sucedido, você poderá analisar as velocidades máximas atingidas por cada veículo. Ter essas informações evitaria que os motoristas violassem os limites de velocidade e provavelmente salvaria muitas vidas.
Arquivo para editar
Você editará o arquivo analyze_data.py
no editor.
Slides
Não se esqueça: você sempre pode clicar no ícone de slides no canto superior direito para ver os slides - eles serão muito úteis!
Este exercício faz parte do curso
Streaming de dados com AWS Kinesis e Lambda
Instruções de exercício
- Liste os objetos que foram gravados no bucket S3.
- Para cada objeto, carregue-o do S3.
- Carregue-o em um dataframe, especificando um delimitador e os nomes das colunas. Isso foi feito para você.
- Execute
analyze_data.py
executandopython3 analyze_data.py
.
Exercício interativo prático
Transforme a teoria em ação com um de nossos exercícios interativos
