Szacowanie kosztów osadzania za pomocą tiktoken
Po utworzeniu bazy danych i kolekcji do przechowywania filmów i seriali z Netflixa możemy przystąpić do osadzania danych.
Przed osadzaniem dużego zbioru danych warto oszacować koszty, aby nie przekroczyć budżetu. Ponieważ modele OpenAI są wyceniane według liczby przetworzonych tokenów, użyjemy biblioteki tiktoken firmy OpenAI, aby policzyć tokeny i przeliczyć je na koszt w dolarach.
Do dyspozycji masz listę documents zawierającą wszystkie dane do osadzenia. Przejdziesz przez tę listę, zakoduj każdy dokument i zsumuj łączną liczbę tokenów. Na koniec skorzystaj z cennika modelu, aby przeliczyć wynik na koszt.
To ćwiczenie jest częścią kursu
Wprowadzenie do osadzeń z OpenAI API
Instrukcje do ćwiczenia
- Wczytaj enkoder dla modelu
text-embedding-3-small. - Zakoduj każdy tekst z listy
documentsi zsumuj wyniki, aby uzyskać łączną liczbę tokenów w zbiorze danych:total_tokens. - Wyświetl łączną liczbę tokenów oraz koszt tych tokenów, korzystając z wartości
cost_per_1k_tokenszdefiniowanej dla ciebie.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load the encoder for the OpenAI text-embedding-3-small model
enc = tiktoken.encoding_for_model("____")
# Encode each text in documents and calculate the total tokens
total_tokens = ____(____(____) for ____ in documents)
cost_per_1k_tokens = 0.00002
# Display number of tokens and cost
print('Total tokens:', ____)
print('Cost:', ____)