किसी sensor को deferrable बनाना
आपकी टीम अलग-अलग पाइपलाइनों में दर्जनों sensors चलाती है, और worker slots bottleneck बन रहे हैं। reschedule मोड में भी, हर बार जागकर चेक करते समय हर sensor थोड़ी देर के लिए एक slot घेर लेता है। Deferrable मोड इससे आगे जाता है: यह पूरे wait को Triggerer को सौंप देता है — एक हल्का-फुल्का प्रोसेस जो async I/O का उपयोग करता है और कभी भी worker slot पर कब्जा नहीं करता।
आप इस FileSensor को deferral का लाभ उठाने के लिए कॉन्फ़िगर करेंगे।
यह अभ्यास पाठ्यक्रम का हिस्सा है
Airflow के साथ Data Pipelines बनाना
इंटरैक्टिव व्यावहारिक अभ्यास
हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें
अभ्यास शुरू करें