Gerenciar fluxos de fornecimento do Firehose
Às vezes, a engenharia de dados envolve o gerenciamento de permissões, usuários e o uso de ferramentas GUI para fazer isso em vez de scripts. Neste curso, mostraremos a você como usar o boto3 para usar o Kinesis e o Lambda, mas também como executar determinadas operações em AWS.
Ao longo do curso, as operações em AWS são tratadas para você, para que possa se concentrar no aspecto da programação.
Os screencasts estão aqui para dar a você um contexto completo sobre como as coisas funcionam. Você pode experimentar essas operações em AWS por conta própria, mas isso é totalmente opcional:
- Você não será testado na plataforma AWS
- As operações do AWS são cuidadas por você durante todo o curso, portanto, sugerimos que você se concentre em concluir o curso primeiro
- Se você decidir experimentar o site AWS, certifique-se de sempre interromper suas instâncias assim que sair ou você acabará com uma conta alta
Por enquanto, você está começando a aprender a interagir com os fluxos do Firehose. Seu antecessor criou alguns fluxos do Firehose e você deseja excluir todos eles para que a conta comece do zero.
Vamos começar do zero na conta AWS da cidade!
Este exercício faz parte do curso
Streaming de dados com AWS Kinesis e Lambda
Instruções de exercício
- Importe o boto3 e crie o cliente Firehose do boto3.
- Obtenha a lista de fluxos de entrega do Firehose.
- Iterar sobre o conteúdo da resposta e excluir cada fluxo.
- Verifique se todos os fluxos de entrega foram excluídos imprimindo os resultados de
.list_delivery_streams().
Exercício interativo prático
Experimente este exercício preenchendo este código de exemplo.
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())