시간이 조금 중요할 때

Machine Learning 서비스에서 허용 가능한 지연 시간(latency)이 구현할 서빙 모드 선택에 어떤 영향을 미치는지 배웠어요.

때로는 사용자가 며칠, 심지어 몇 주도 기다릴 수 있어요. 또 어떤 때는 1초도 너무 길 수 있어요.

예상 지연이 낮을수록 엔지니어링 난이도와 서비스 비용은 커집니다. 따라서 과도한 설계를 피하고, 사용자 요구와 지불 의사에 맞춰 ML 서비스 설계를 결정하세요.

예를 들어, 대용량 .pdf 문서를 분석하고 요약하는 ML 서비스를 만든다고 해봅시다. 사용자가 요청 후 5분 이내에 서비스 결과를 받고 싶다고 말한다면, 이 사용 사례에 가장 합리적인 서빙 모드는 다음 중 무엇일까요?