Thiết lập giới hạn token
Một nền tảng thương mại điện tử vừa thuê bạn để cải thiện hiệu năng của bot chăm sóc khách hàng được xây dựng bằng OpenAI API. Bạn quyết định bắt đầu bằng cách đảm bảo các tin nhắn đầu vào không gây ra vấn đề giới hạn tốc độ bằng cách đặt giới hạn 100 token, và kiểm thử với một tin nhắn mẫu.
Thư viện tiktoken đã được nạp sẵn.
Bài tập này là một phần của khóa học
Phát triển hệ thống AI với OpenAI API
Hướng dẫn bài tập
- Dùng thư viện
tiktokenđể tạo encoding cho mô hìnhgpt-4o-mini. - Kiểm tra số lượng token dự kiến trong tin nhắn đầu vào.
- In phản hồi nếu tin nhắn vượt qua cả hai bước kiểm tra.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")