AIアシスタントのコストを理解する
AIモデルを使ってユニットテストを生成する社内ツールを開発しています。モデルAとモデルBの2つを評価しており、以下のことがわかっています。
- 両モデルのトークン単価は同じです。
- 各リクエストで使用する入力トークン数と、テスト生成に使う出力トークン数はほぼ同じです。
- モデルBは、1リクエストあたり追加で1,500トークンの「推論」トークンを生成します。このトークンは課金対象ですが、テストの品質向上には寄与しません。
各モデルのトークン単価を踏まえると、AとBのどちらがコスト効率に優れていますか?
この演習はコースの一部です
