tiktokenを使ったコストの見積もり
データベースとコレクションを作成し、Netflixの映画やテレビ番組を保存する準備ができました。次は、データの埋め込みを始めましょう。
大規模なデータセットを埋め込む前に、予算を超えないよう、コストの見積もりを行うことが重要です。OpenAIのモデルは入力トークン数に応じて料金が発生するため、OpenAIの tiktoken ライブラリを使ってトークン数を集計し、ドル単位での費用に換算します。
埋め込む対象のデータがすべて含まれたリスト documents が用意されています。リストを反復処理して各ドキュメントをエンコードし、トークンの合計数を求めましょう。最後に、モデルの料金設定を使って費用を算出します。
この演習はコースの一部です
OpenAI API で学ぶ埋め込み入門
演習の手順
text-embedding-3-smallモデル用のエンコーダーを読み込んでください。documents内の各テキストをエンコードし、その結果を合計してデータセット全体のトークン数（total_tokens）を求めましょう。- あらかじめ定義された
cost_per_1k_tokensを使って、トークンの合計数とその費用を出力してください。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Load the encoder for the OpenAI text-embedding-3-small model
enc = tiktoken.encoding_for_model("____")
# Encode each text in documents and calculate the total tokens
total_tokens = ____(____(____) for ____ in documents)
cost_per_1k_tokens = 0.00002
# Display number of tokens and cost
print('Total tokens:', ____)
print('Cost:', ____)