Traffic-Spitzen bewältigen

StreamlinePay, deine Payments-API läuft hinter Amazon API Gateway mit einem Nutzungsplan, der ein konstantes Rate Limit von 100 Requests pro Sekunde und ein Burst Limit von 200 konfiguriert. Während eines Flash-Sales sendet eine Partnerintegration eine kurze, heftige Traffic-Spitze, die kurzzeitig über die konstante Rate hinausgeht, bevor sie wieder abfällt.

Nutze den Simulator, um ein Gefühl dafür zu bekommen: Ziehe den Schieberegler für die eingehenden Requests pro Sekunde nach oben und beobachte, wie sich die akzeptierten Anfragen (grün) und die gedrosselten (429 Too Many Requests) (rot) verhalten. Achte auf das Band an Traffic knapp oberhalb des Rate Limits, in dem Anfragen noch akzeptiert werden, und darauf, ab wann 429-Fehler beginnen.

Frage: Welcher Mechanismus fängt diese kurze Spitze oberhalb des konstanten Rate Limits ab, bevor Anfragen gedrosselt werden?