Zacznij terazZacznij za darmo

Podział plików Python

Choć pliki tekstowe i pliki z kodem zawierają te same znaki, kod ma struktury wykraczające poza język naturalny. Aby zachować ten kontekst podczas podziału dokumentów, warto skonfigurować splitter tak, by w pierwszej kolejności próbował dzielić tekst według najczęstszych struktur kodu. Na szczęście LangChain oferuje dokładnie taką funkcjonalność!

Wszystkie niezbędne klasy zostały już zaimportowane, w tym Language z langchain_text_splitters.

To ćwiczenie jest częścią kursu

Retrieval Augmented Generation (RAG) z LangChain

Zobacz kurs

Instrukcje do ćwiczenia

  • Utwórz rekurencyjny splitter znaków, który będzie dzielić tekst według typowych struktur kodu Python.
  • Podziel dokumenty załadowane przez python_data na fragmenty.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
    ____, chunk_size=300, chunk_overlap=100
)

# Split the Python content into chunks
chunks = ____

for i, chunk in enumerate(chunks[:3]):
    print(f"Chunk {i+1}:\n{chunk.page_content}\n")
Edytuj i uruchom kod