1. Learn
    2. /
  2. कोर्स
    3. /
  3. LangChain के साथ Retrieval Augmented Generation (RAG)
Connected

अभ्यास

सेमांटिक तरीके से स्प्लिट करना

अब तक आपने जिन भी स्प्लिटिंग रणनीतियों का उपयोग किया है, उन सबमें एक ही कमी है: स्प्लिट आसपास के टेक्स्ट के संदर्भ को नहीं देखता, इसलिए स्प्लिट करते समय संदर्भ आसानी से खो सकता है.

इस अभ्यास में, आप एक सेमांटिक टेक्स्ट स्प्लिटर बनाएँगे और लागू करेंगे. यह एक अत्याधुनिक प्रयोगात्मक तरीका है जो टेक्स्ट को उसके अर्थ (semantic meaning) के आधार पर स्प्लिट करता है. जब स्प्लिटर यह पहचानता है कि टेक्स्ट का अर्थ किसी निर्धारित थ्रेशोल्ड से आगे भटक गया है, तो वह स्प्लिट कर देता है.

निर्देश

100 XP
  • OpenAI का 'text-embedding-3-small' एम्बेडिंग मॉडल instantiate करें.
  • ऐसा सेमांटिक टेक्स्ट स्प्लिटर बनाएँ जो semantic similarity तय करने के लिए vector gradients का उपयोग करे और स्प्लिट के लिए थ्रेशोल्ड 0.8 रखे.
  • सेमांटिक स्प्लिटर का उपयोग करके document को स्प्लिट करें.