Încorporarea și stocarea documentelor
Ultimul pas pentru pregătirea documentelor în vederea regăsirii este încorporarea și stocarea acestora. Vei folosi modelul text-embedding-3-small de la OpenAI pentru a încorpora fragmentele de documente, pe care le vei stoca într-o bază de date vectorială Chroma locală.
chunks obținute prin împărțirea recursivă a lucrării Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks au fost preîncărcate.
Crearea și utilizarea unui API key OpenAI nu este necesară în acest exercițiu. Poți lăsa placeholder-ul <OPENAI_API_TOKEN> — acesta va trimite cereri valide către API-ul OpenAI.
Acest exercițiu face parte din cursul
Retrieval Augmented Generation (RAG) cu LangChain
Instrucțiuni pentru exercițiu
- Inițializează modelul de încorporare (embeddings) implicit de la OpenAI.
- Încorporează fragmentele de documente (
chunks) folosindembedding_modelși stochează-le într-o bază de date vectorială Chroma.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____