因應流量高峰突增
你的金流 API —— StreamlinePay —— 透過 Amazon API Gateway 對外提供,且在使用方案中設定了穩定的 rate limit(速率限制) 為每秒 100 個請求,以及 burst limit(突發上限) 為 200。限時搶購期間,合作夥伴的整合端送出一個短促而尖銳的流量突增,請求速率短暫高於穩定速率,隨後又回落。
使用模擬器來建立直覺:把 incoming requests per second(每秒傳入請求) 的滑桿往上拖,觀察 accepted(已接受) 計數(綠色)與 throttled(429 Too Many Requests) 計數(紅色)的變化。留意在速率限制之上,仍有一段請求會被接受的區間,以及開始出現 429 的位置。
問題: 在任何請求被節流之前,是哪一個機制能吸收那段高於穩定速率限制的短暫尖峰?
本練習屬於課程
