Gerando embeddings e armazenando documentos
A etapa final para preparar os documentos para recuperação é gerar embeddings e armazená-los. Você usará o modelo text-embedding-3-small da OpenAI para criar embeddings dos documentos fragmentados e armazená-los em um banco de dados vetorial Chroma local.
Os chunks que você criou ao dividir recursivamente o artigo Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks já foram pré-carregados.
Não é necessário criar ou usar uma chave de API da OpenAI neste exercício. Você pode deixar o placeholder <OPENAI_API_TOKEN>, que enviará solicitações válidas para a API da OpenAI.
Este exercício faz parte do curso
Retrieval Augmented Generation (RAG) com LangChain
Instruções do exercício
- Inicialize o modelo de embedding padrão da OpenAI.
- Gere embeddings dos
chunksde documentos usandoembedding_modele armazene-os em um banco de dados vetorial Chroma.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____