1. Uczyć się
    2. /
  2. Courses
    3. /
  3. Retrieval Augmented Generation (RAG) z LangChain
Connected

Exercise

Podział semantyczny

Wszystkie dotychczas używane strategie podziału mają jedną wspólną wadę: podział nie uwzględnia kontekstu otaczającego tekstu, przez co podczas dzielenia łatwo go utracić.

W tym ćwiczeniu stworzysz i zastosujesz semantyczny splitter tekstu – eksperymentalną metodę podziału tekstu opartą na znaczeniu semantycznym. Gdy splitter wykryje, że sens tekstu odbiega od poprzedniego fragmentu powyżej określonego progu, wykona podział.

Instrukcje

100 XP
  • Utwórz instancję modelu osadzeń 'text-embedding-3-small' firmy OpenAI.
  • Stwórz semantyczny splitter tekstu, który używa gradientów wektorowych do określania podobieństwa semantycznego i wartości 0.8 jako progu podziału.
  • Podziel document za pomocą semantycznego splittera.