การกำหนดขีดจำกัด token
แพลตฟอร์มอีคอมเมิร์ซแห่งหนึ่งได้จ้างคุณมาปรับปรุงประสิทธิภาพของบอตบริการลูกค้าที่สร้างด้วย OpenAI API คุณตัดสินใจเริ่มต้นด้วยการตรวจสอบว่าข้อความ input ไม่ก่อให้เกิดปัญหา rate limit โดยกำหนดขีดจำกัดไว้ที่ 100 token และทดสอบด้วยข้อความตัวอย่าง
ไลบรารี tiktoken ได้ถูกโหลดไว้ให้แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การพัฒนาระบบ AI ด้วย OpenAI API
คำแนะนำการฝึกหัด
- ใช้ไลบรารี
tiktokenเพื่อสร้าง encoding สำหรับโมเดลgpt-4o-mini - ตรวจสอบจำนวน token ที่คาดไว้ในข้อความ input
- แสดงผลลัพธ์หากข้อความผ่านการตรวจสอบทั้งสองเงื่อนไข
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")