Lidando com picos de tráfego

A StreamlinePay, sua API de pagamentos, roda atrás do Amazon API Gateway com um plano de uso configurado para um limite de taxa constante de 100 requisições por segundo e um limite de rajada (burst) de 200. Durante uma oferta relâmpago, a integração de um parceiro envia um pico curto e intenso de tráfego que sobe temporariamente acima da taxa constante antes de se estabilizar novamente.

Use o simulador para criar intuição: arraste o controle deslizante de requisições de entrada por segundo para cima e observe a contagem aceita (verde) e a contagem com throttling (429 Too Many Requests) (vermelho) responderem. Perceba a faixa de tráfego logo acima do limite de taxa em que as requisições ainda são aceitas e onde os 429 começam.

Pergunta: Qual mecanismo absorve esse pico curto acima do limite de taxa constante antes que qualquer requisição sofra throttling?