1. Обучение
    2. /
  2. Курса
    3. /
  3. Retrieval Augmented Generation (RAG) з LangChain
Connected

упражнение

Семантичне розбиття

Усі стратегії розбиття, які ви використовували до цього, мають спільний недолік: поділ не враховує контекст сусідніх фрагментів, тож контекст легко втратити під час розбиття.

У цій вправі ви створите та застосуєте семантичний розбивач тексту — це найсучасніший експериментальний метод, що ділить текст за семантичним змістом. Коли розбивач виявляє, що значення тексту відхилилося понад певний поріг, виконується поділ.

Инструкции

100 XP
  • Створіть модель вкладень 'text-embedding-3-small' від OpenAI.
  • Створіть семантичний розбивач тексту, який використовує градієнти векторів для визначення семантичної подібності та застосовує поріг 0.8 для поділу.
  • Розбийте document, використовуючи семантичний розбивач.