Gestire i picchi di traffico

StreamlinePay, la tua API per i pagamenti, gira dietro Amazon API Gateway con un piano di utilizzo configurato per un rate limit costante di 100 richieste al secondo e un burst limit di 200. Durante un flash sale, un'integrazione di un partner invia un picco breve e intenso di traffico che supera per un attimo il rate costante, per poi tornare alla normalità.

Usa il simulatore per farti un'idea: trascina verso l'alto lo slider richieste in arrivo al secondo e osserva come reagiscono il conteggio accettate (verde) e throttled (429 Too Many Requests) (rosso). Nota la fascia di traffico appena sopra il rate limit in cui le richieste vengono ancora accettate e dove iniziano i 429.

Domanda: Quale meccanismo assorbe quel breve picco sopra il rate limit costante prima che qualsiasi richiesta venga sottoposta a throttling?