拆分 Python 文件
尽管文本文件和代码文件都由字符组成，但代码文件还包含超出自然语言的结构。为在文档拆分时保留这些代码特有的上下文，您应让分割器优先按照最常见的代码结构进行拆分。幸运的是，LangChain 已提供了相应功能！
所有必需的类都已为您导入，包括来自 langchain_text_splitters 的 Language。
本练习是课程的一部分
使用 LangChain 的 Retrieval Augmented Generation (RAG)
练习说明
- 创建一个递归字符分割器，用于按常见的 Python 代码结构进行拆分。
- 将
python_data文档加载器拆分为多个块。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")