Gestion des flux de livraison Firehose
L'ingénierie des données implique parfois la gestion des autorisations et des utilisateurs, et l'utilisation d'outils GUI au lieu de scripts. Dans ce cours, nous vous montrerons comment utiliser boto3 pour utiliser Kinesis et Lambda, mais aussi comment exécuter certaines opérations sur AWS.
Tout au long du cours, les opérations sur AWS sont prises en charge pour vous, afin que vous puissiez vous concentrer sur l'aspect programmation.
Les screencasts sont là pour vous donner un contexte complet sur la façon dont les choses fonctionnent. N'hésitez pas à essayer ces opérations sur AWS par vous-même, mais c'est tout à fait facultatif :
- Vous ne serez pas testé sur la plateforme AWS
- Les opérations AWS sont prises en charge tout au long du cours, nous vous conseillons donc vivement de vous concentrer d'abord sur l'achèvement du cours.
- Si vous décidez d'essayer des choses sur AWS, assurez-vous de toujours arrêter vos instances dès que vous quittez le site ou vous vous retrouverez avec une facture salée.
Pour l'instant, vous commencez à apprendre à interagir avec les flux Firehose. Votre prédécesseur a créé quelques flux Firehose et vous souhaitez tous les supprimer pour que le compte reparte à zéro.
Prenons un nouveau départ sur le compte AWS de la ville !
Cet exercice fait partie du cours
Streaming de données avec AWS Kinesis et Lambda
Instructions
- Importez boto3 et créez le client boto3 Firehose.
- Obtenir la liste des flux de livraison Firehose.
- Interrogez le contenu de la réponse et supprimez chaque flux.
- Vérifiez que tous les flux de livraison ont été supprimés en imprimant les résultats de
.list_delivery_streams().
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())