Tokengrenzen instellen
Een e-commerceplatform heeft je zojuist ingehuurd om de prestaties te verbeteren van hun klantenservicebot die is gebouwd met de OpenAI API. Je besluit te beginnen met het voorkomen van rate limit-problemen door een limiet van 100 tokens in te stellen en dit te testen met een voorbeeldinvoerbericht.
De tiktoken-bibliotheek is al geladen.
Deze oefening maakt deel uit van de cursus
AI-systemen ontwikkelen met de OpenAI API
Oefeninstructies
- Gebruik de
tiktoken-bibliotheek om een codering te maken voor hetgpt-4o-mini-model. - Controleer het verwachte aantal tokens in het invoerbericht.
- Print de response als het bericht beide checks doorstaat.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")