Nastavení limitů tokenů
E-commerce platforma tě přizvala ke zlepšení výkonu jejich zákaznického chatbota postaveného na OpenAI API. Rozhodl/a ses začít tím, že zajistíš, aby vstupní zprávy nezpůsobovaly problémy s limity požadavků – nastavíš limit 100 tokenů a otestuješ ho na ukázkové vstupní zprávě.
Knihovna tiktoken je předem načtená.
Toto cvičení je součástí kurzu
Vývoj AI systémů s OpenAI API
Pokyny k cvičení
- Pomocí knihovny
tiktokenvytvoř kódování pro modelgpt-4o-mini. - Zkontroluj očekávaný počet tokenů ve vstupní zprávě.
- Pokud zpráva projde oběma kontrolami, vypiš odpověď.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")