1. Apprendre
    2. /
  2. Cours
    3. /
  3. Вступ до Embeddings з OpenAI API
Connected

Exercice

Оцінювання вартості вкладень за допомогою tiktoken

Тепер, коли ми створили базу даних і колекцію для зберігання фільмів та серіалів Netflix, можна починати створювати вкладення (embeddings).

Перш ніж обробляти великий набір даних, важливо оцінити вартість, щоб не вийти за межі бюджету. Оскільки моделі OpenAI тарифікуються за кількістю введених токенів, ми використаємо бібліотеку OpenAI tiktoken, щоб підрахувати кількість токенів і перетворити це на вартість у доларах.

Вам надано documents — список з усіма даними для вкладення. Ви пройдетеся по списку, закодуєте кожен документ і порахуєте загальну кількість токенів. Нарешті, ви використаєте ціну моделі, щоб перетворити це на загальну вартість.

Instructions

100 XP
  • Завантажте енкодер для моделі text-embedding-3-small.
  • Закодуйте кожен текст у documents і підсумуйте результат, щоб знайти загальну кількість токенів у наборі даних — total_tokens.
  • Виведіть загальну кількість токенів і вартість цих токенів, використовуючи cost_per_1k_tokens моделі, заданий для вас.