Tokengrenzen instellen
Een e-commerceplatform heeft je ingehuurd om de prestaties van hun klantenservicebot te verbeteren, die is gebouwd met de OpenAI API. Je hebt besloten te beginnen door ervoor te zorgen dat de invoerberichten geen problemen met snelheidslimieten veroorzaken door een limiet van 100 tokens in te stellen, en dit te testen met een voorbeeldinvoerbericht.
De tiktoken-bibliotheek is al geladen.
Deze oefening maakt deel uit van de cursus
AI-systemen ontwikkelen met de OpenAI API
Oefeninstructies
- Gebruik de
tiktoken-bibliotheek om een codering voor hetgpt-4o-mini-model te maken. - Controleer het verwachte aantal tokens in het invoerbericht.
- Print de response als het bericht beide controles doorstaat.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")