Ani trafik artışlarını yönetme

Ödeme API'in olan StreamlinePay, Amazon API Gateway arkasında çalışıyor ve saniyede 100 istek için sabit bir hız sınırı (rate limit) ve 200'lük bir patlama (burst) limiti ile yapılandırıldı. Bir flaş indirim sırasında, bir iş ortağı entegrasyonu kısa süreli, keskin bir trafik artışı gönderiyor; bu artış, sabit hızın üstüne kısa süreliğine çıkıp sonra yeniden aşağı iniyor.

Sezgini güçlendirmek için simülatörü kullan: saniye başına gelen istekler kaydırıcısını yukarı sürükle ve kabul edilen sayının (yeşil) ve kısılan (429 Too Many Requests) sayısının (kırmızı) nasıl değiştiğini izle. Hız sınırının hemen üstündeki, isteklerin hâlâ kabul edildiği bandı ve 429ların başladığı noktayı fark et.

Soru: İstekler kısıtlanmadan önce, sabit hız sınırının üzerindeki bu kısa artışı hangi mekanizma emer?