Embedding a ukládání dokumentů
Posledním krokem při přípravě dokumentů pro vyhledávání je jejich embedding a uložení. K vytvoření embeddingů rozdělených dokumentů použiješ model text-embedding-3-small od OpenAI a uložíš je do lokální vektorové databáze Chroma.
chunks vytvořené rekurzivním rozdělením článku Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks jsou již předem načteny.
Vytváření a použití OpenAI API klíče v tomto cvičení není potřeba. Zástupný symbol <OPENAI_API_TOKEN> můžeš ponechat beze změny — požadavky na OpenAI API budou fungovat správně.
Toto cvičení je součástí kurzu
Retrieval Augmented Generation (RAG) with LangChain
Pokyny k cvičení
- Inicializuj výchozí embedding model od OpenAI.
- Vytvoř embeddingy
chunksdokumentů pomocíembedding_modela ulož je do vektorové databáze Chroma.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____