Firehose डिलीवरी स्ट्रीम्स को मैनेज करना
डेटा इंजीनियरिंग में कई बार permissions, users को मैनेज करना पड़ता है, और इसके लिए स्क्रिप्ट्स की जगह GUI टूल्स का इस्तेमाल भी किया जाता है. इस कोर्स में, हम आपको दिखाएँगे कि boto3 के साथ Kinesis और Lambda कैसे इस्तेमाल करें, और साथ ही AWS पर कुछ ऑपरेशंस कैसे चलाएँ.
पूरे कोर्स के दौरान AWS पर होने वाले ऑपरेशंस आपकी ओर से संभाल लिए जाएँगे, ताकि आप प्रोग्रामिंग के हिस्से पर ध्यान दे सकें.
सcreencasts आपको यह पूरा संदर्भ देते हैं कि चीजें कैसे काम करती हैं. आप चाहें तो AWS पर ये ऑपरेशंस खुद ट्राई कर सकते हैं, लेकिन यह पूरी तरह वैकल्पिक है:
- आपसे AWS प्लेटफ़ॉर्म पर टेस्ट नहीं लिया जाएगा
- कोर्स के दौरान AWS ऑपरेशंस आपके लिए कर दिए जाएँगे, इसलिए हमारी सलाह है कि पहले कोर्स पूरा करने पर फोकस करें
- अगर आप कभी AWS पर चीजें ट्राई करें, तो ध्यान रखें कि बाहर निकलते समय अपनी instances हमेशा स्टॉप कर दें, नहीं तो भारी बिल आ सकता है
अभी, आप Firehose स्ट्रीम्स के साथ इंटरैक्ट करना सीखना शुरू कर रहे हैं. आपके पूर्ववर्ती ने कुछ Firehose स्ट्रीम्स बनाई थीं, और आप अकाउंट को एकदम नया शुरू करने के लिए उन्हें सभी को डिलीट करना चाहते हैं.
आइए, शहर के AWS अकाउंट में एक नई शुरुआत करते हैं!
यह अभ्यास पाठ्यक्रम का हिस्सा है
AWS Kinesis और Lambda के साथ स्ट्रीमिंग डेटा
अभ्यास निर्देश
- boto3 को इम्पोर्ट करें और एक boto3 Firehose क्लाइंट बनाएँ.
- Firehose डिलीवरी स्ट्रीम्स की लिस्ट प्राप्त करें.
- response की सामग्री पर iterate करके हर स्ट्रीम को डिलीट करें.
.list_delivery_streams()के परिणाम प्रिंट करके जाँचें कि सभी डिलीवरी स्ट्रीम्स डिलीट हो गई हैं.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Import boto3 and create boto3 Firehose client
import ____
firehose = boto3.____('____',
aws_access_key_id=AWS_KEY_ID, aws_secret_access_key=AWS_SECRET,
region_name='us-east-1', endpoint_url=endpoints['FIREHOSE'])
# Get list of delivery streams
response = firehose.____()
# Iterate over the response contents and delete every stream
for stream_name in response['DeliveryStreamNames']:
firehose.____(DeliveryStreamName=stream_name)
print(f"Deleted stream: {stream_name}")
# Print list of delivery streams
print(firehose.____())