權衡模型效能與成本

快取、提示版本控管與監控，都是控制 LLM 使用成本的有效策略。不過，你也知道自己的情境差異很大：從基本的程式碼自動完成，到在企業版儲存庫中進行完整的除錯修復，而每種情境都需要不同等級的模型能力。

降低成本的另一個方法是為任務挑對模型：速度快但較不強大的模型，通常足以應付簡單任務；較複雜的任務則可能需要更大、也更昂貴、具備進階推理能力的模型。