Podział plików Python
Choć pliki tekstowe i pliki z kodem zawierają te same znaki, kod ma struktury wykraczające poza język naturalny. Aby zachować ten kontekst podczas podziału dokumentów, warto skonfigurować splitter tak, by w pierwszej kolejności próbował dzielić tekst według najczęstszych struktur kodu. Na szczęście LangChain oferuje dokładnie taką funkcjonalność!
Wszystkie niezbędne klasy zostały już zaimportowane, w tym Language z langchain_text_splitters.
To ćwiczenie jest częścią kursu
Retrieval Augmented Generation (RAG) z LangChain
Instrukcje do ćwiczenia
- Utwórz rekurencyjny splitter znaków, który będzie dzielić tekst według typowych struktur kodu Python.
- Podziel dokumenty załadowane przez
python_datana fragmenty.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")