Cómo manejar picos de tráfico

StreamlinePay, tu API de pagos, se ejecuta detrás de Amazon API Gateway con un plan de uso configurado con un límite de velocidad constante de 100 solicitudes por segundo y un límite de ráfaga de 200. Durante una oferta relámpago, una integración de un partner envía un pico breve e intenso de tráfico que supera momentáneamente la tasa constante antes de volver a estabilizarse.

Usa el simulador para afianzar la intuición: arrastra hacia arriba el control deslizante de solicitudes entrantes por segundo y observa cómo responden el recuento de aceptadas (verde) y el de limitadas (429 Too Many Requests) (rojo). Fíjate en la franja de tráfico justo por encima del límite de velocidad donde todavía se aceptan solicitudes y en dónde empiezan los 429.

Pregunta: ¿Qué mecanismo absorbe ese pico breve por encima del límite de velocidad constante antes de que se limite alguna solicitud?