1. Uczyć się
    2. /
  2. Courses
    3. /
  3. Retrieval Augmented Generation (RAG) with LangChain
Connected

Exercise

Rekurzivní dělení dokumentů

Dělení textu na základě jednoho znaku je jednoduché a předvídatelné, ale výsledné bloky často nejsou optimální. V tomto cvičení použiješ rekurzivní dělení textu na článku Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks, který jsi načetl/a v předchozím cvičení.

Rekurzivní dělení textu postupně prochází seznam znaků a zkouší na každém z nich rozdělit text tak, aby bloky nepřekročily limit chunk_size.

Instrukcje

100 XP
  • Definuj rekurzivní splitter textu v LangChainu, který bude procházet seznam znaků ['\n', '.', ' ', ''] s velikostí bloku 75 a překryvem 10.
  • Rozděl document pomocí definovaného text_splitter a vhodné metody.