Установка ограничений на количество токенов
Платформа электронной коммерции пригласила вас улучшить работу чат-бота службы поддержки, созданного с помощью OpenAI API. Вы решили начать с того, чтобы входящие сообщения не вызывали проблем с лимитами запросов: для этого установите ограничение в 100 токенов и проверьте его на примере тестового сообщения.
Библиотека tiktoken уже загружена.
Это упражнение является частью курса
Разработка ИИ-систем с помощью OpenAI API
Инструкции к упражнению
- Используйте библиотеку
tiktoken, чтобы создать кодировку для моделиgpt-4o-mini. - Проверьте ожидаемое количество токенов во входящем сообщении.
- Выведите ответ, если сообщение прошло оба проверочных условия.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}
# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____
# Run the chat completions function and print the response
if num_tokens <= ____:
response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
print(____)
else:
print("Message exceeds token limit")