Створення вкладень і зберігання документів
Останній крок підготовки документів до отримання (retrieval) — це створити їхні вкладення (embeddings — векторні представлення) і зберегти їх. Ви використаєте модель text-embedding-3-small від OpenAI для створення вкладень фрагментованих документів і збережете їх у локальній векторній базі даних Chroma.
chunks, які ви отримали рекурсивним розбиттям статті Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, уже завантажено.
У цій вправі не потрібно створювати чи використовувати OpenAI API key. Можете залишити заповнювач <OPENAI_API_TOKEN> — він надішле коректні запити до OpenAI API.
Ця вправа є частиною курсу
Retrieval Augmented Generation (RAG) з LangChain
Інструкції до вправи
- Ініціалізуйте типову модель вкладень від OpenAI.
- Створіть вкладення для фрагментів документа
chunks, використовуючиembedding_model, і збережіть їх у векторній базі даних Chroma.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____