सेमांटिक तरीके से स्प्लिट करना
अब तक आपने जिन भी स्प्लिटिंग रणनीतियों का उपयोग किया है, उन सबमें एक ही कमी है: स्प्लिट आसपास के टेक्स्ट के संदर्भ को नहीं देखता, इसलिए स्प्लिट करते समय संदर्भ आसानी से खो सकता है.
इस अभ्यास में, आप एक सेमांटिक टेक्स्ट स्प्लिटर बनाएँगे और लागू करेंगे. यह एक अत्याधुनिक प्रयोगात्मक तरीका है जो टेक्स्ट को उसके अर्थ (semantic meaning) के आधार पर स्प्लिट करता है. जब स्प्लिटर यह पहचानता है कि टेक्स्ट का अर्थ किसी निर्धारित थ्रेशोल्ड से आगे भटक गया है, तो वह स्प्लिट कर देता है.
यह अभ्यास पाठ्यक्रम का हिस्सा है
LangChain के साथ Retrieval Augmented Generation (RAG)
अभ्यास निर्देश
- OpenAI का
'text-embedding-3-small'एम्बेडिंग मॉडल instantiate करें. - ऐसा सेमांटिक टेक्स्ट स्प्लिटर बनाएँ जो semantic similarity तय करने के लिए vector gradients का उपयोग करे और स्प्लिट के लिए थ्रेशोल्ड
0.8रखे. - सेमांटिक स्प्लिटर का उपयोग करके
documentको स्प्लिट करें.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
# Instantiate an OpenAI embeddings model
embedding_model = ____(api_key="", model='____')
# Create the semantic text splitter with desired parameters
semantic_splitter = ____(
embeddings=____, breakpoint_threshold_type="____", breakpoint_threshold_amount=____
)
# Split the document
chunks = ____
print(chunks[0])