การแบ่งไฟล์ Python
แม้ว่าไฟล์ข้อความและไฟล์โค้ดจะใช้ตัวอักษรชุดเดียวกัน แต่ไฟล์โค้ดมีโครงสร้างที่ซับซ้อนกว่าภาษาธรรมชาติทั่วไป เพื่อให้บริบทเฉพาะของโค้ดยังคงอยู่ระหว่างการแบ่งเอกสาร ควรตั้งค่า splitter ให้พยายามแบ่งตามโครงสร้างโค้ดที่พบบ่อยที่สุดก่อน โชคดีที่ LangChain มีฟังก์ชันสำหรับสิ่งนี้โดยเฉพาะ!
คลาสที่จำเป็นทั้งหมดได้ถูก import ไว้ให้แล้ว รวมถึง Language จาก langchain_text_splitters
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
Retrieval Augmented Generation (RAG) ด้วย LangChain
คำแนะนำการฝึกหัด
- สร้าง recursive character splitter ที่แบ่งตามโครงสร้างโค้ด Python ที่พบบ่อย
- แบ่ง document loader
python_dataออกเป็น chunk
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")