AI 도우미의 비용 이해하기
단위 테스트를 생성하는 AI 모델을 사용하는 내부 도구를 만들고 있어요. 모델 A와 모델 B 두 가지를 평가 중이며, 다음을 알고 있습니다.
- 두 모델의 토큰당 가격은 동일합니다.
- 각 요청에서, 테스트 자체를 생성하는 데 쓰이는 입력 토큰 수와 출력 토큰 수는 두 모델이 거의 같습니다.
- 모델 B는 여기에 더해 요청마다 청구되는 “추론(reasoning)” 토큰 1,500개를 추가로 출력하지만, 이는 테스트 품질을 개선하지 않습니다.
각 모델의 토큰당 비용을 고려할 때, A 또는 B 중 어떤 모델이 가장 비용 효율적일까요?
이 연습은 강의의 일부입니다
