1. Learn
    2. /
  2. Courses
    3. /
  3. Wprowadzenie do osadzeń z OpenAI API
Connected

Exercise

Szacowanie kosztów osadzania za pomocą tiktoken

Po utworzeniu bazy danych i kolekcji do przechowywania filmów i seriali z Netflixa możemy przystąpić do osadzania danych.

Przed osadzaniem dużego zbioru danych warto oszacować koszty, aby nie przekroczyć budżetu. Ponieważ modele OpenAI są wyceniane według liczby przetworzonych tokenów, użyjemy biblioteki tiktoken firmy OpenAI, aby policzyć tokeny i przeliczyć je na koszt w dolarach.

Do dyspozycji masz listę documents zawierającą wszystkie dane do osadzenia. Przejdziesz przez tę listę, zakoduj każdy dokument i zsumuj łączną liczbę tokenów. Na koniec skorzystaj z cennika modelu, aby przeliczyć wynik na koszt.

Instructions

100 XP
  • Wczytaj enkoder dla modelu text-embedding-3-small.
  • Zakoduj każdy tekst z listy documents i zsumuj wyniki, aby uzyskać łączną liczbę tokenów w zbiorze danych: total_tokens.
  • Wyświetl łączną liczbę tokenów oraz koszt tych tokenów, korzystając z wartości cost_per_1k_tokens zdefiniowanej dla ciebie.