文档的嵌入与存储
为实现检索,准备文档的最后一步是进行嵌入并存储。您将使用 OpenAI 的 text-embedding-3-small 模型对分块后的文档进行嵌入,并将其存入本地的 Chroma 向量数据库。
您通过递归方式从 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 论文中切分得到的 chunks 已预先加载。
本练习无需创建或使用 OpenAI API 密钥。 您可以保留占位符 <OPENAI_API_TOKEN>,系统会向 OpenAI API 发送有效请求。
本练习是课程的一部分
使用 LangChain 的 Retrieval Augmented Generation (RAG)
练习说明
- 初始化来自 OpenAI 的默认嵌入模型。
- 使用
embedding_model对文档chunks进行嵌入,并将其存入 Chroma 向量数据库。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____