1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Retrieval Augmented Generation (RAG) with LangChain
Connected

Cvičení

Sémantické rozdělování textu

Všechny strategie rozdělování, které jsi dosud použil/a, mají jednu společnou nevýhodu: při dělení se nebere v úvahu kontext okolního textu, takže ho lze snadno ztratit.

V tomto cvičení vytvoříš a použiješ sémantický text splitter — špičkovou experimentální metodu pro rozdělování textu na základě sémantického významu. Jakmile splitter zjistí, že se význam textu odchýlil za určitou prahovou hodnotu, provede rozdělení.

Pokyny

100 XP
  • Vytvoř instanci embedding modelu 'text-embedding-3-small' od OpenAI.
  • Vytvoř sémantický text splitter, který ke zjišťování sémantické podobnosti používá vektorové gradienty a jako prahovou hodnotu pro rozdělení používá 0.8.
  • Rozděl document pomocí sémantického splitteru.