1. Learn
    2. /
  2. Курси
    3. /
  3. Retrieval Augmented Generation (RAG) з LangChain
Connected

вправа

Рекурсивне розбиття документів

Розбиття за одним символом є простим і передбачуваним, але часто дає не найкращі фрагменти. У цій вправі ви застосуєте рекурсивне розбиття за символами, щоб розбити статтю Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, яку ви завантажили в попередній вправі.

Нагадаємо, що рекурсивне розбиття за символами проходить списком символів, по черзі розбиваючи за кожним із них, щоб перевірити, чи можна створити фрагменти, менші за обмеження chunk_size.

Інструкції

100 XP
  • Визначте в LangChain рекурсивний розбивач тексту за символами, який рекурсивно проходить список символів ['\n', '.', ' ', ''] з розміром фрагмента 75 та перекриттям 10.
  • Розбийте document, використовуючи визначений вами text_splitter і відповідний метод.