Impostare limiti di token
Una piattaforma di e-commerce ti ha appena assunto per migliorare le prestazioni del loro bot di assistenza clienti basato sull'API di OpenAI. Hai deciso di iniziare assicurandoti che i messaggi in input non causino problemi di rate limit impostando un limite di 100 token, e di testarlo con un messaggio di input di esempio.
La libreria tiktoken è già stata precaricata.
Questo esercizio fa parte del corso
Sviluppare sistemi di AI con l'API di OpenAI
Istruzioni dell'esercizio
- Usa la libreria
tiktokenper creare una codifica per il modellogpt-4o-mini. - Verifica il numero atteso di token nel messaggio di input.
- Stampa la risposta se il messaggio supera entrambi i controlli.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")