Zacznij terazZacznij za darmo

Ustawianie limitów tokenów

Platforma e-commerce zatrudniła cię, aby poprawić wydajność bota obsługi klienta zbudowanego przy użyciu API OpenAI. Postanawiasz zacząć od upewnienia się, że wiadomości wejściowe nie powodują problemów z limitami żądań – w tym celu ustawiasz limit 100 tokenów i testujesz go na przykładowej wiadomości.

Biblioteka tiktoken jest już załadowana.

To ćwiczenie jest częścią kursu

Tworzenie systemów AI z OpenAI API

Zobacz kurs

Instrukcje do ćwiczenia

  • Użyj biblioteki tiktoken, aby utworzyć kodowanie dla modelu gpt-4o-mini.
  • Sprawdź oczekiwaną liczbę tokenów w wiadomości wejściowej.
  • Wyświetl odpowiedź, jeśli wiadomość przejdzie obie weryfikacje.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

client = OpenAI(api_key="")
input_message = {"role": "user", "content": "I'd like to buy a shirt and a jacket. Can you suggest two color pairings for these items?"}

# Use tiktoken to create the encoding for your model
encoding = tiktoken.____(____)
# Check for the number of tokens
num_tokens = ____

# Run the chat completions function and print the response
if num_tokens <= ____:
    response = client.chat.completions.create(model="gpt-4o-mini", messages=[input_message])
    print(____)
else:
    print("Message exceeds token limit")
Edytuj i uruchom kod