Verwaltung von Firehose-Lieferströmen
Beim Data Engineering geht es manchmal um die Verwaltung von Berechtigungen und Nutzern, und dafür werden GUI Tools anstelle von Skripten verwendet. In diesem Kurs zeigen wir dir, wie du boto3 verwendest, um Kinesis und Lambda zu nutzen, aber auch, wie du bestimmte Operationen auf AWS ausführen kannst.
Während des gesamten Kurses werden die Abläufe auf AWS für dich erledigt, sodass du dich auf den Programmieraspekt der Dinge konzentrieren kannst.
In den Screencasts erfährst du, wie die Dinge funktionieren. Du kannst diese Vorgänge in AWS gerne selbst ausprobieren, aber das ist völlig freiwillig:
- Du wirst nicht auf der AWS-Plattform getestet
- Die AWS-Operationen werden während des Kurses für dich erledigt, daher empfehlen wir dir, dich zuerst auf den Abschluss des Kurses zu konzentrieren
- Wenn du dich jemals dazu entscheidest, Dinge auf AWS auszuprobieren, achte darauf, dass du deine Instanzen immer stoppst, sobald du sie verlässt, sonst wirst du am Ende eine saftige Rechnung bekommen
Jetzt lernst du erst einmal, wie du mit Firehose-Streams interagieren kannst. Dein Vorgänger hat ein paar Firehose-Streams erstellt und du möchtest sie alle löschen, um das Konto neu zu starten.
Lass uns auf dem AWS-Konto der Stadt einen Neuanfang machen!
Diese Übung ist Teil des Kurses
Datenstreaming mit AWS Kinesis und Lambda
Anleitung zur Übung
- Importiere boto3 und erstelle den boto3 Firehose Client.
- Erhalte die Liste der Firehose Delivery Streams.
- Iteriere über den Inhalt der Antwort und lösche jeden Stream.
- Überprüfe, ob alle Lieferströme gelöscht wurden, indem du die Ergebnisse von
.list_delivery_streams()ausdruckst.
Interaktive Übung
Versuche dich an dieser Übung, indem du diesen Beispielcode vervollständigst.
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())