Sätta tokengränser
En e-handelsplattform har anlitat dig för att förbättra prestandan hos deras kundtjänstbot som är byggd med OpenAI API. Du bestämmer dig för att börja med att säkerställa att inkommande meddelanden inte orsakar några problem med hastighetsgränser, genom att sätta en gräns på 100 tokens. Sedan testar du det med ett exempelmeddelande.
Biblioteket tiktoken är förladdat.
Den här övningen är en del av kursen
Utveckla AI-system med OpenAI API
Övningsinstruktioner
- Använd biblioteket
tiktokenför att skapa en kodning för modellengpt-4o-mini. - Kontrollera att indatameddelandet har det förväntade antalet tokens.
- Skriv ut svaret om meddelandet klarar båda kontrollerna.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")