Gérer les pics de trafic

StreamlinePay, votre API de paiement fonctionne derrière Amazon API Gateway avec un plan d'utilisation configuré pour une limite de débit stable de 100 requêtes par seconde et une limite de rafale de 200. Lors d'une vente flash, une intégration partenaire envoie un pic de trafic bref et net qui dépasse temporairement le débit stable avant de redescendre.

Utilisez le simulateur pour vous faire une idée : faites glisser le curseur requêtes entrantes par seconde vers le haut et observez l'évolution du nombre accepté (vert) et du nombre limité (429 Too Many Requests) (rouge). Remarquez la bande de trafic juste au‑dessus de la limite de débit où les requêtes sont encore acceptées, puis l'endroit où les 429 commencent.

Question : Quel mécanisme absorbe ce court pic au‑dessus de la limite de débit stable avant que des requêtes ne soient limitées ?