Menangani lonjakan trafik

StreamlinePay, API pembayaran Anda berjalan di belakang Amazon API Gateway dengan rencana penggunaan yang dikonfigurasi untuk rate limit stabil sebesar 100 permintaan per detik dan burst limit sebesar 200. Selama flash sale, integrasi mitra mengirim lonjakan trafik singkat dan tajam yang sebentar naik di atas laju stabil sebelum kembali turun.

Gunakan simulator untuk membangun intuisi: seret penggeser incoming requests per second ke atas dan amati hitungan accepted (hijau) dan throttled (429 Too Many Requests) (merah) merespons. Perhatikan pita trafik tepat di atas rate limit di mana permintaan masih diterima, dan di mana 429 mulai muncul.

Pertanyaan: Mekanisme mana yang menyerap lonjakan singkat di atas rate limit stabil sebelum ada permintaan yang di-throttle?