Zarządzanie strumieniami dostarczania Firehose
Inżynieria danych obejmuje nie tylko programowanie – czasem wymaga też zarządzania uprawnieniami, użytkownikami i korzystania z narzędzi graficznych. W tym kursie pokażemy ci, jak używać boto3 do pracy z Kinesis i Lambda, a także jak wykonywać określone operacje bezpośrednio na platformie AWS.
Przez cały kurs operacje na AWS są wykonywane za ciebie, dzięki czemu możesz skupić się na aspektach programistycznych.
Screencasty są tu po to, aby dać ci pełny kontekst tego, jak wszystko działa. Możesz samodzielnie wypróbować te operacje na AWS – jest to jednak całkowicie opcjonalne:
- Nie będziesz oceniany/-a na podstawie znajomości platformy AWS
- Operacje na AWS są przez cały kurs obsługiwane za ciebie, dlatego zdecydowanie radzimy najpierw ukończyć kurs
- Jeśli zdecydujesz się eksperymentować na AWS, pamiętaj, aby zawsze zatrzymywać swoje instancje po zakończeniu pracy – inaczej możesz otrzymać wysoki rachunek
Na razie zaczynasz uczyć się, jak pracować ze strumieniami Firehose. Twój poprzednik utworzył kilka strumieni Firehose i chcesz je wszystkie usunąć, aby zacząć od czystego konta.
Zacznijmy od świeżego startu na koncie AWS miasta!
To ćwiczenie jest częścią kursu
Strumieniowanie danych z AWS Kinesis i Lambda
Instrukcje do ćwiczenia
- Zaimportuj boto3 i utwórz klienta boto3 dla usługi Firehose.
- Pobierz listę strumieni dostarczania Firehose.
- Iteruj po zawartości odpowiedzi i usuń każdy strumień.
- Sprawdź, czy wszystkie strumienie dostarczania zostały usunięte, wyświetlając wyniki wywołania
.list_delivery_streams().
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())