Dokumente einbetten und speichern
Der letzte Schritt zur Vorbereitung der Dokumente für die Retrieval-Phase ist das Einbetten und Speichern. Du verwendest das Modell text-embedding-3-small von OpenAI, um die gesplitteten Dokumente einzubetten, und speicherst sie in einer lokalen Chroma-Vektordatenbank.
Die chunks, die du durch rekursives Splitten des Papers Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks erstellt hast, wurden bereits geladen.
Das Erstellen und Verwenden eines OpenAI-API-Schlüssels ist in dieser Übung nicht erforderlich. Du kannst den Platzhalter <OPENAI_API_TOKEN> stehen lassen; damit werden gültige Anfragen an die OpenAI-API gesendet.
Diese Übung ist Teil des Kurses
Retrieval Augmented Generation (RAG) mit LangChain
Anleitung zur Übung
- Initialisiere das Standard-Embedding-Modell von OpenAI.
- Betten die Dokument-
chunksmitembedding_modelein und speichere sie in einer Chroma-Vektordatenbank.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Initialize the OpenAI embedding model
embedding_model = ____(api_key="", model='text-embedding-3-small')
# Create a Chroma vector store and embed the chunks
vector_store = ____