Estratégias eficazes para controlar o custo do modelo

Você está desenvolvendo um protótipo de uma ferramenta de geração de código com IA para sua empresa, usando um LLM comercial. Durante uma reunião de revisão, sua gestora demonstra preocupação com os custos de longo prazo para operar a ferramenta. Ela está especialmente preocupada com a rapidez com que o uso de tokens pode crescer à medida que mais desenvolvedores começarem a usá-la, e com quão imprevisíveis as despesas podem se tornar.

Para avançar de forma responsável, identifique qual das opções a seguir é a estratégia mais eficaz para controlar o custo de tokens mantendo um desempenho aceitável.