Lecture des données Firehose
Dans les deux derniers exercices, vous avez créé un seau de destination S3 ("sd-vehicle-data"
) et un flux Firehose ("gps-delivery-stream"
). Vous avez écrit des enregistrements dans le flux qui ont été transmis au seau.
Il est maintenant temps de lire ces dossiers et de procéder à une analyse de base. Si vous réussissez, vous pourrez analyser les vitesses maximales atteintes par chaque véhicule. Le fait de disposer de ces informations empêcherait les conducteurs d'enfreindre les limitations de vitesse et permettrait probablement de sauver de nombreuses vies.
Fichier à modifier
Vous allez modifier le fichier analyze_data.py
dans l'éditeur.
Diapositives
N'oubliez pas que vous pouvez toujours cliquer sur l'icône des diapositives en haut à droite pour voir les diapositives - elles vous seront très utiles !
Cet exercice fait partie du cours
Streaming de données avec AWS Kinesis et Lambda
Instructions
- Dressez la liste des objets qui ont été écrits dans le seau S3.
- Pour chaque objet, chargez-le à partir de S3.
- Chargez-le dans un DataFrame, en spécifiant un délimiteur et les noms des colonnes. Cela a été fait pour vous.
- Exécutez
analyze_data.py
en lançantpython3 analyze_data.py
.
Exercice interactif pratique
Passez de la théorie à la pratique avec l’un de nos exercices interactifs
