Menetapkan batas token
Sebuah platform e-commerce baru saja mempekerjakan Anda untuk meningkatkan kinerja bot layanan pelanggan mereka yang dibangun menggunakan OpenAI API. Anda memutuskan untuk mulai dengan memastikan bahwa pesan masukan tidak menyebabkan masalah batas laju dengan menetapkan batas 100 token, dan mengujinya dengan contoh pesan masukan.
Pustaka tiktoken telah dimuat sebelumnya.
Latihan ini adalah bagian dari kursus
Mengembangkan Sistem AI dengan OpenAI API
Petunjuk latihan
- Gunakan pustaka
tiktokenuntuk membuat encoding untuk modelgpt-4o-mini. - Periksa jumlah token yang diharapkan dalam pesan masukan.
- Cetak respons jika pesan lolos kedua pemeriksaan tersebut.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")