Gestionarea fluxurilor de livrare Firehose
Ingineria datelor implică uneori gestionarea permisiunilor, a utilizatorilor și folosirea unor instrumente grafice în loc de scripturi. În acest curs, îți vom arăta cum să folosești boto3 pentru a lucra cu Kinesis și Lambda, dar și cum să rulezi anumite operațiuni în AWS.
Pe parcursul cursului, operațiunile din AWS sunt gestionate pentru tine, astfel încât să te poți concentra pe aspectele de programare.
Screencast-urile sunt aici pentru a-ți oferi un context complet asupra modului în care funcționează lucrurile. Poți încerca aceste operațiuni în AWS pe cont propriu, dar este complet opțional:
- Nu vei fi evaluat pe platforma AWS
- Operațiunile AWS sunt gestionate pentru tine pe tot parcursul cursului, așa că îți recomandăm cu tărie să te concentrezi mai întâi pe finalizarea cursului
- Dacă decizi totuși să experimentezi în AWS, asigură-te că oprești întotdeauna instanțele imediat după ce termini, altfel vei ajunge cu o factură considerabilă
Deocamdată, începi să înveți cum să interacționezi cu fluxurile Firehose. Predecesorul tău a creat câteva fluxuri Firehose, iar tu vrei să le ștergi pe toate pentru a porni de la zero cu contul.
Hai să facem un nou început în contul AWS al orașului!
Acest exercițiu face parte din cursul
Date în flux cu AWS Kinesis și Lambda
Instrucțiuni pentru exercițiu
- Importă boto3 și creează un client boto3 pentru Firehose.
- Obține lista fluxurilor de livrare Firehose.
- Parcurge conținutul răspunsului și șterge fiecare flux.
- Verifică că toate fluxurile de livrare au fost șterse afișând rezultatele returnate de
.list_delivery_streams().
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())