使用 tiktoken 估算嵌入向量成本
现在我们已经创建了用于存储 Netflix 电影和剧集的数据库和集合，可以开始进行嵌入向量了。
在对大型数据集进行嵌入之前，先估算成本很重要，以确保不会超出预算。由于 OpenAI 模型的计费按输入的 token 数计算，我们将使用 OpenAI 的 tiktoken 库来统计 token 数量，并将其换算成美元成本。
您已获得 documents，它是包含所有待嵌入数据的列表。您将遍历该列表，对每个文档进行编码，并统计 token 总数。最后，您将根据模型的定价将其换算为成本。
本练习是课程的一部分
使用 OpenAI API 的 Embeddings 入门
练习说明
- 加载
text-embedding-3-small模型的编码器。 - 对
documents中的每段文本进行编码，并将结果求和，得到数据集的 token 总数total_tokens。 - 使用为您定义的模型
cost_per_1k_tokens，打印 token 总数以及这些 token 的成本。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Load the encoder for the OpenAI text-embedding-3-small model
enc = tiktoken.encoding_for_model("____")
# Encode each text in documents and calculate the total tokens
total_tokens = ____(____(____) for ____ in documents)
cost_per_1k_tokens = 0.00002
# Display number of tokens and cost
print('Total tokens:', ____)
print('Cost:', ____)