Ước tính chi phí embedding với tiktoken
Giờ chúng ta đã tạo xong cơ sở dữ liệu và collection để lưu trữ các phim và chương trình TV của Netflix, bạn có thể bắt đầu embed dữ liệu.
Trước khi embed một tập dữ liệu lớn, việc ước tính chi phí là rất quan trọng để đảm bảo bạn không vượt quá ngân sách. Vì các mô hình OpenAI được tính phí theo số lượng token đầu vào, chúng ta sẽ dùng thư viện tiktoken của OpenAI để đếm số token và quy đổi sang chi phí đô la.
Bạn đã được cung cấp documents, là một danh sách chứa toàn bộ dữ liệu cần embed. Bạn sẽ lặp qua danh sách, mã hóa (encode) từng document và đếm tổng số token. Cuối cùng, bạn sẽ dùng mức giá của mô hình để quy đổi thành chi phí.
Bài tập này là một phần của khóa học
Nhập môn Embeddings với OpenAI API
Hướng dẫn bài tập
- Tải encoder cho mô hình
text-embedding-3-small. - Mã hóa từng văn bản trong
documents, và cộng tổng để lấy tổng số token của toàn bộ tập dữ liệu,total_tokens. - In ra tổng số token và chi phí tương ứng của các token đó bằng
cost_per_1k_tokenscủa mô hình đã được định nghĩa sẵn cho bạn.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load the encoder for the OpenAI text-embedding-3-small model
enc = tiktoken.encoding_for_model("____")
# Encode each text in documents and calculate the total tokens
total_tokens = ____(____(____) for ____ in documents)
cost_per_1k_tokens = 0.00002
# Display number of tokens and cost
print('Total tokens:', ____)
print('Cost:', ____)