Zvládání nárazů provozu

StreamlinePay – tvoje platební API běží za Amazon API Gateway s usage plánem nastaveným na ustálený rate limit 100 požadavků za sekundu a burst limit 200. Při flash výprodeji partner náhle pošle krátký prudký nárůst provozu, který na chvíli překročí ustálenou rychlost a pak zase klesne.

Využij simulátor k procvičení intuice: posuň slider příchozích požadavků za sekundu nahoru a sleduj, jak reaguje počet přijatých požadavků (zelená) a počet throttlovaných (429 Too Many Requests) (červená). Všimni si pásma provozu těsně nad rate limitem, kde jsou požadavky stále přijímány, a kde se začínají objevovat chyby 429.

Otázka: Který mechanismus pohltí krátký nárůst nad ustálený rate limit dříve, než dojde k throttlingu?