Оцінювання вартості вкладень за допомогою tiktoken

Тепер, коли ми створили базу даних і колекцію для зберігання фільмів та серіалів Netflix, можна починати створювати вкладення (embeddings).

Перш ніж обробляти великий набір даних, важливо оцінити вартість, щоб не вийти за межі бюджету. Оскільки моделі OpenAI тарифікуються за кількістю введених токенів, ми використаємо бібліотеку OpenAI tiktoken, щоб підрахувати кількість токенів і перетворити це на вартість у доларах.

Вам надано documents — список з усіма даними для вкладення. Ви пройдетеся по списку, закодуєте кожен документ і порахуєте загальну кількість токенів. Нарешті, ви використаєте ціну моделі, щоб перетворити це на загальну вартість.

Ця вправа є частиною курсу

Вступ до Embeddings з OpenAI API

Переглянути курс

Інструкції до вправи

Завантажте енкодер для моделі text-embedding-3-small.
Закодуйте кожен текст у documents і підсумуйте результат, щоб знайти загальну кількість токенів у наборі даних — total_tokens.
Виведіть загальну кількість токенів і вартість цих токенів, використовуючи cost_per_1k_tokens моделі, заданий для вас.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Load the encoder for the OpenAI text-embedding-3-small model
enc = tiktoken.encoding_for_model("____")

# Encode each text in documents and calculate the total tokens
total_tokens = ____(____(____) for ____ in documents)

cost_per_1k_tokens = 0.00002

# Display number of tokens and cost
print('Total tokens:', ____)
print('Cost:', ____)

Редагувати та запускати код