ドキュメントの埋め込みと保存
検索に備えてドキュメントを準備する最終ステップは、埋め込みと保存です。チャンク化されたドキュメントの埋め込みには OpenAI の text-embedding-3-small モデルを使用し、ローカルの Chroma ベクターデータベースに保存します。
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks 論文を再帰的に分割して作成した chunks は、すでに読み込まれています。
この演習では OpenAI の API キーを作成・使用する必要はありません。 <OPENAI_API_TOKEN> のプレースホルダはそのままで構いません。有効なリクエストが OpenAI API に送信されます。
この演習はコースの一部です
LangChain で学ぶ Retrieval Augmented Generation (RAG)
演習の手順
- OpenAI のデフォルトの埋め込みモデルを初期化します。
embedding_modelを使ってドキュメントのchunksを埋め込み、Chroma ベクターデータベースに保存します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____