Creare embedding e archiviare i documenti
L’ultimo passaggio per preparare i documenti al retrieval è creare gli embedding e archiviare i dati. Userai il modello text-embedding-3-small di OpenAI per generare gli embedding dei documenti suddivisi in chunk e li salverai in un database vettoriale Chroma locale.
I chunks che hai creato dividendo ricorsivamente l’articolo Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks sono già stati precaricati.
In questo esercizio non è necessario creare né usare una chiave API di OpenAI. Puoi lasciare il segnaposto <OPENAI_API_TOKEN>, che invierà comunque richieste valide all’API di OpenAI.
Questo esercizio fa parte del corso
Retrieval Augmented Generation (RAG) con LangChain
Istruzioni dell'esercizio
- Inizializza il modello di embedding predefinito di OpenAI.
- Crea gli embedding dei
chunksdel documento usandoembedding_modele archiviali in un database vettoriale Chroma.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____