Rozdělování souborů v Pythonu
Textové a kódové soubory sice obsahují stejné znaky, ale kódové soubory mají strukturu, která přesahuje přirozený jazyk. Aby se tento kontext specifický pro kód při rozdělování dokumentů neztratil, je potřeba splitter nastavit tak, aby se nejprve pokoušel rozdělovat podle nejběžnějších struktur kódu. LangChain naštěstí tuhle funkci nabízí!
Všechny potřebné třídy jsou už naimportované, včetně Language z langchain_text_splitters.
Toto cvičení je součástí kurzu
Retrieval Augmented Generation (RAG) with LangChain
Pokyny k cvičení
- Vytvoř rekurzivní znakový splitter, který bude rozdělovat podle běžných struktur kódu v Pythonu.
- Rozděl document loader
python_datana části.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")