트래픽 급증 처리하기

StreamlinePay의 결제 API는 Amazon API Gateway 뒤에서 실행되며, 초당 100건의 안정적인 요청 한도(rate limit)와 200건의 버스트 한도(burst limit)로 구성된 사용 계획(usage plan)을 사용하고 있습니다. 플래시 세일 기간 동안 한 파트너 연동에서 짧고 급격한 트래픽 급증이 발생해, 안정적인 처리 속도를 잠깐 넘어섰다가 다시 안정됩니다.

시뮬레이터를 사용해 개념을 직접 확인해 보세요. 초당 수신 요청(incoming requests per second) 슬라이더를 위로 움직이면서 수락된(accepted) 요청 수(초록색)와 조절된(throttled, 429 Too Many Requests) 요청 수(빨간색)가 어떻게 변하는지 살펴보세요. 요청 한도를 살짝 넘긴 구간에서도 요청이 계속 수락되는 지점과 429 오류가 시작되는 지점을 주의 깊게 확인하세요.

질문: 요청이 조절되기 전, 안정적인 요청 한도를 넘어서는 짧은 트래픽 급증을 흡수하는 메커니즘은 무엇일까요?