Python 파일 분할하기
텍스트와 코드 파일은 같은 문자로 이루어져 있지만, 코드 파일에는 자연어를 넘어서는 구조가 있습니다. 문서 분할 시 이러한 코드 특유의 문맥을 유지하려면, 가장 일반적인 코드 구조를 기준으로 먼저 분할하도록 분할기를 설정해야 해요. 다행히 LangChain에는 이를 손쉽게 처리할 수 있는 기능이 있습니다!
필요한 클래스는 모두 임포트되어 있으며, langchain_text_splitters의 Language도 포함되어 있습니다.
이 연습은 강의의 일부입니다
LangChain을 활용한 RAG(검색 증강 생성)
연습 안내
- 일반적인 Python 코드 구조를 기준으로 분할하는 재귀적 문자 분할기를 생성하세요.
python_data문서 로더를 청크로 분할하세요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")