Dela upp Python-filer
Även om text- och kodfiler innehåller samma tecken, har kodfiler strukturer som går bortom naturligt språk. För att bevara det kodspecifika sammanhanget vid dokumentdelning bör du konfigurera splitteraren så att den först försöker dela på den vanligaste kodstrukturen. LangChain har inbyggd funktionalitet för just det!
Alla nödvändiga klasser har importerats åt dig, inklusive Language från langchain_text_splitters.
Den här övningen är en del av kursen
Retrieval Augmented Generation (RAG) med LangChain
Övningsinstruktioner
- Skapa en rekursiv teckensplitterare som delar på vanliga Python-kodstrukturer.
- Dela upp dokumentladdaren
python_datai segment.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")