การแบ่งข้อความตามอักขระ

กระบวนการสำคัญอย่างหนึ่งในการใช้งาน Retrieval Augmented Generation (RAG) คือการแบ่งเอกสารออกเป็น chunk เพื่อจัดเก็บในฐานข้อมูลเวกเตอร์

LangChain มีกลยุทธ์การแบ่งข้อความให้เลือกใช้หลายแบบ บางแบบมีกระบวนการที่ซับซ้อนกว่าแบบอื่น ในแบบฝึกหัดนี้ จะได้ลองใช้ character text splitter ซึ่งแบ่งเอกสารตามอักขระและวัดความยาวของแต่ละ chunk จากจำนวนอักขระ

ไม่มีกลยุทธ์การแบ่งข้อความที่ดีที่สุดสำหรับทุกกรณี อาจต้องลองหลายแบบเพื่อหาวิธีที่เหมาะกับการใช้งานของคุณ