Xử lý đột biến lưu lượng

StreamlinePay, API thanh toán của bạn chạy phía sau Amazon API Gateway với gói sử dụng được cấu hình giới hạn tốc độ ổn định là 100 yêu cầu mỗi giây và giới hạn bùng nổ (burst) là 200. Trong một đợt giảm giá chớp nhoáng, một tích hợp đối tác gửi một đợt lưu lượng tăng vọt ngắn, sắc nét, tạm thời vượt quá tốc độ ổn định rồi nhanh chóng giảm trở lại.

Hãy dùng bộ mô phỏng để hình dung trực quan: kéo thanh trượt yêu cầu đến mỗi giây lên và quan sát số được chấp nhận (màu xanh) và số bị chặn (429 Too Many Requests) (màu đỏ) thay đổi. Hãy để ý dải lưu lượng ngay phía trên giới hạn tốc độ nơi yêu cầu vẫn được chấp nhận, và điểm nơi các 429 bắt đầu xuất hiện.

Câu hỏi: Cơ chế nào hấp thụ đợt tăng vọt ngắn vượt trên giới hạn tốc độ ổn định trước khi bất kỳ yêu cầu nào bị chặn?