Poke, reschedule, या deferrable — कब इस्तेमाल करें
आपकी टीम तीन pipelines में सेंसर कॉन्फ़िगरेशन की समीक्षा कर रही है:
- Pipeline A: एक सेंसर उस फ़ाइल को चेक करता है जो आम तौर पर Dag शुरू होने के 10 सेकंड के भीतर आ जाती है.
- Pipeline B: एक सेंसर पार्टनर के डेटा फ़ीड के लिए इंतज़ार करता है, जो 4-घंटे की विंडो में कभी भी आ सकती है. ऐसे 20 समान सेंसर एक साथ चलते हैं.
- Pipeline C: एक सेंसर हर 2 मिनट में एक API endpoint को चेक करता है और सामान्यतः 15 मिनट तक इंतज़ार करता है.
कौन-सा सेंसर मोड-कॉम्बिनेशन सबसे बेहतर फिट होगा?
यह अभ्यास पाठ्यक्रम का हिस्सा है
Airflow के साथ Data Pipelines बनाना
इंटरैक्टिव व्यावहारिक अभ्यास
हमारे इंटरैक्टिव अभ्यासों में से किसी एक के साथ सिद्धांत को व्यवहार में बदलें
अभ्यास शुरू करें