प्रोडक्शन के लिए एक सेंसर कॉन्फ़िगर करना
आपकी पाइपलाइन एक FileSensor का उपयोग करती है जो प्रोसेसिंग से पहले आने वाली CSV रिपोर्ट का इंतज़ार करती है। डिफ़ॉल्ट poke मोड में, फ़ाइल आने में कई मिनट लगने पर भी सेंसर इंतज़ार के पूरे समय एक वर्कर स्लॉट पकड़े रखता है।
प्रोडक्शन में, सेंसर को चेक्स के बीच स्लॉट छोड़ देना चाहिए और एक सेफ़्टी टाइमआउट होना चाहिए ताकि वह अनिश्चितकाल तक प्रतीक्षा न करे।
यह अभ्यास पाठ्यक्रम का हिस्सा है
Airflow के साथ Data Pipelines बनाना
इंटरैक्टिव व्यावहारिक अभ्यास
हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें
अभ्यास शुरू करें