Gestionarea vârfurilor de trafic

StreamlinePay, API-ul tău de plăți, rulează în spatele Amazon API Gateway cu un plan de utilizare configurat pentru o limită de rată constantă de 100 de cereri pe secundă și o limită de burst de 200. În timpul unei vânzări flash, o integrare a unui partener trimite un vârf scurt și brusc de trafic care depășește momentan rata constantă, după care revine la normal.

Folosește simulatorul pentru a-ți forma intuiția: trage glisorul cereri primite pe secundă în sus și urmărește cum răspund numărul de cereri acceptate (verde) și numărul de cereri limitate (429 Too Many Requests) (roșu). Observă intervalul de trafic de deasupra limitei de rată în care cererile sunt încă acceptate și punctul unde încep să apară răspunsurile 429.

Întrebare: Ce mecanism absoarbe acel vârf scurt de trafic peste limita de rată constantă înainte ca orice cerere să fie limitată?