Împărțirea fișierelor Python

Deși fișierele text și cele de cod conțin aceleași caractere, fișierele de cod au structuri specifice ce depășesc limbajul natural. Pentru a păstra acest context specific codului în timpul împărțirii documentelor, ar trebui să configurezi splitter-ul să încerce mai întâi să împartă după cea mai comună structură de cod. Din fericire, LangChain oferă exact această funcționalitate!

Toate clasele necesare au fost importate pentru tine, inclusiv Language din langchain_text_splitters.

Acest exercițiu face parte din cursul

Retrieval Augmented Generation (RAG) cu LangChain

Vezi cursul

Instrucțiuni pentru exercițiu

Creează un splitter recursiv pe caractere care să împartă după structurile comune din codul Python.
Împarte încărcătorul de documente python_data în fragmente.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
    ____, chunk_size=300, chunk_overlap=100
)

# Split the Python content into chunks
chunks = ____

for i, chunk in enumerate(chunks[:3]):
    print(f"Chunk {i+1}:\n{chunk.page_content}\n")

Editează și rulează codul