管理 Firehose 傳送串流
資料工程有時需要管理權限、使用者,並透過圖形介面工具而非腳本來處理。在本課程中,我們會示範如何使用 boto3 搭配 Kinesis 與 Lambda,同時也會示範如何在 AWS 上執行特定操作。
在整個課程中,AWS 上的操作都已替你處理好,讓你可以專注在程式面向。
這些螢幕錄影會提供完整的脈絡,幫助你理解運作方式。你也可以自行到 AWS 嘗試這些操作,但完全是可選的:
- 不會測驗你在 AWS 平台上的操作
- 由於課程期間 AWS 的操作都已處理完成,我們強烈建議你先專注把課程學完
- 如果你打算在 AWS 上動手試試,務必在離開前立刻停止所有執行個體,否則帳單可能會非常可觀
現在,你要開始學習如何與 Firehose 串流互動。你的前任已建立了幾個 Firehose 串流,你想全部刪除,讓帳號乾淨歸零。
讓我們替這座城市的 AWS 帳號來個全新開始吧!
本練習屬於課程
使用 AWS Kinesis 與 Lambda 的串流資料
練習說明
- 匯入 boto3,並建立 boto3 的 Firehose 用戶端。
- 取得所有 Firehose 傳送串流的清單。
- 走訪回應內容並刪除每個串流。
- 透過列印
.list_delivery_streams()的結果,確認所有傳送串流都已刪除。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())