Tách các tệp Python
Mặc dù tệp văn bản và tệp mã đều chứa các ký tự giống nhau, tệp mã có những cấu trúc vượt ra ngoài ngôn ngữ tự nhiên. Để giữ được ngữ cảnh đặc thù của mã khi tách tài liệu, bạn nên lập trình splitter để ưu tiên tách theo các cấu trúc mã phổ biến nhất. May mắn là LangChain đã cung cấp sẵn chức năng cho việc này!
Tất cả các lớp cần thiết đã được nhập sẵn cho bạn, bao gồm Language từ langchain_text_splitters.
Bài tập này là một phần của khóa học
Retrieval Augmented Generation (RAG) với LangChain
Hướng dẫn bài tập
- Tạo một recursive character splitter sẽ tách theo các cấu trúc mã Python phổ biến.
- Tách dữ liệu từ document loader
python_datathành các đoạn nhỏ.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")