ट्रैफिक स्पाइक्स को संभालना

StreamlinePay, आपका payments API Amazon API Gateway के पीछे चलता है, जहाँ एक usage plan steady rate limit 100 requests per second और burst limit 200 के साथ कॉन्फ़िगर किया गया है. एक फ्लैश सेल के दौरान, एक पार्टनर इंटीग्रेशन एक छोटा, तीखा ट्रैफिक स्पाइक भेजता है जो थोड़ी देर के लिए steady रेट से ऊपर चला जाता है और फिर वापस सामान्य हो जाता है.

इंट्यूशन बनाने के लिए सिम्युलेटर का उपयोग कीजिए: incoming requests per second स्लाइडर को ऊपर की तरफ खीचिए और accepted काउंट (हरा) और throttled (429 Too Many Requests) काउंट (लाल) की प्रतिक्रिया देखिए. रेट लिमिट से ज़रा ऊपर ट्रैफिक का वह बैंड नोट करें जहाँ अनुरोध अब भी स्वीकार किए जाते हैं, और जहाँ 429 आना शुरू होते हैं.

प्रश्न: steady रेट लिमिट से ऊपर आने वाले उस छोटे स्पाइक को, किसी भी अनुरोध के throttled होने से पहले, कौन सा मैकेनिज़्म absorb करता है?