Správa Firehose delivery streamů
Data engineering někdy zahrnuje správu oprávnění, uživatelů a používání GUI nástrojů místo skriptů. V tomto kurzu ti ukážeme, jak využívat boto3 pro práci s Kinesis a Lambda, ale také jak provádět určité operace přímo v AWS.
Všechny operace v AWS jsou v průběhu kurzu zajištěny za tebe, abys se mohl/a soustředit na programování.
Screencasty jsou tu proto, aby ti poskytly ucelený přehled o tom, jak věci fungují. Operace v AWS si klidně můžeš vyzkoušet na vlastní pěst, ale je to zcela volitelné:
- Na platformě AWS nebudeš testován/a
- Operace v AWS jsou v celém kurzu zajištěny za tebe, proto doporučujeme se nejdřív soustředit na dokončení kurzu
- Pokud se někdy rozhodneš věci v AWS vyzkoušet, vždy zastav své instance hned po skončení práce, jinak ti naběhne vysoký účet
Nyní se začínáš učit, jak pracovat s Firehose streamy. Tvůj předchůdce vytvořil několik Firehose streamů a ty je chceš všechny smazat, aby účet začal znovu od nuly.
Dejme městskému AWS účtu čistý začátek!
Toto cvičení je součástí kurzu
Streamování dat s AWS Kinesis a Lambda
Pokyny k cvičení
- Importuj boto3 a vytvoř boto3 klienta pro Firehose.
- Získej seznam Firehose Delivery streamů.
- Projdi obsah odpovědi a smaž každý stream.
- Ověř, že všechny delivery streamy byly smazány, a to výpisem výsledků
.list_delivery_streams().
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())