डेटा पाइपलाइनों का ऑटोमेशन

आप एक ऑनलाइन ट्रैवल एजेंसी में काम कर रहे हैं, और आपको एक Application Programming Interface (API) बनाने का काम दिया गया है जो real time में एक इंश्योरेंस कंपनी के साथ जानकारी का आदान-प्रदान करेगा ताकि यह जाँच हो सके कि यात्रियों के पास सही इंश्योरेंस पॉलिसी है या नहीं. यह API insurance_checker नामक एक माइक्रोसर्विस से जुड़ी होगी.

अब, आप यह करना चाहते हैं…

1. ऐसी डेटा पाइपलाइनों की स्थापना करना जो insurance_checker API के परिणामों को रिकॉर्ड करें
2. हर रात डेटा को अपने-आप transform करके दूसरी डेटाबेस में रिकॉर्ड करना

इन चरणों के लिए आप कौन-सा टूल और कौन-सी पाइपलाइन विधि इस्तेमाल कर सकते हैं?