CommencezCommencez gratuitement

Définir des limites de jetons

Une plateforme de commerce électronique vient de vous embaucher pour améliorer la performance de son robot de service à la clientèle bâti avec l'API d'OpenAI. Vous avez décidé de commencer par vous assurer que les messages en entrée ne provoquent pas de problème de limite de débit en fixant une limite de 100 jetons, puis de le tester avec un message d'entrée exemple.

La bibliothèque tiktoken a été préchargée.

Cette activité fait partie du cours

Développer des systèmes d'IA avec l'API d'OpenAI

Voir le cours

Instructions de l’exercice

  • Utilisez la bibliothèque tiktoken pour créer un encodage pour le modèle gpt-4o-mini.
  • Vérifiez le nombre attendu de jetons dans le message d'entrée.
  • Affichez la réponse si le message réussit les deux vérifications.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}

# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____

# Run the chat completions function and print the response
if num_tokens <= ____:
    response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
    print(____)
else:
    print("Message exceeds token limit")
Modifier et exécuter le code