การรับมือกับ traffic ที่พุ่งสูงขึ้นฉับพลัน

StreamlinePay คือ payments API ที่ทำงานอยู่เบื้องหลัง Amazon API Gateway พร้อมกับ usage plan ที่กำหนด rate limit ไว้ที่ 100 คำขอต่อวินาที และ burst limit ที่ 200 คำขอ ในช่วงแฟลชเซล การเชื่อมต่อจากพาร์ตเนอร์ส่ง traffic พุ่งสูงขึ้นฉับพลันในช่วงสั้น ๆ เกินกว่า rate limit ปกติ ก่อนจะลดกลับลงมา

ใช้ simulator เพื่อสร้างความเข้าใจ: ลากสไลเดอร์ incoming requests per second ขึ้นไป แล้วสังเกตจำนวนคำขอที่ accepted (สีเขียว) และที่ throttled (429 Too Many Requests) (สีแดง) ว่าเปลี่ยนแปลงอย่างไร สังเกตช่วง traffic ที่อยู่เหนือ rate limit เล็กน้อยซึ่งคำขอยังคงได้รับการตอบรับ และจุดที่ 429 เริ่มปรากฏขึ้น

คำถาม: กลไกใดที่ช่วยรองรับ traffic ที่พุ่งสูงขึ้นฉับพลันเกิน rate limit ก่อนที่คำขอจะถูก throttle?