การแบ่ง HTML

ในแบบฝึกหัดนี้ คุณจะแบ่งไฟล์ HTML ที่มีเนื้อหาคำสั่งผู้บริหารว่าด้วย AI ซึ่งออกโดยทำเนียบขาวของสหรัฐฯ ในเดือนตุลาคม 2023 เพื่อรักษาบริบทในแต่ละ chunk ให้มากที่สุด คุณจะใช้ค่า chunk_size และ chunk_overlap ที่มีขนาดใหญ่ขึ้น

คลาส LangChain ทั้งหมดที่จำเป็นสำหรับแบบฝึกหัดนี้ถูกโหลดไว้ให้แล้ว

สร้าง UnstructuredHTMLLoader สำหรับไฟล์ white_house_executive_order_nov_2023.html แล้วโหลดเข้าสู่หน่วยความจำ
กำหนด chunk_size เป็น 300 และ chunk_overlap เป็น 100
สร้าง RecursiveCharacterTextSplitter โดยแบ่งที่อักขระ '.' จากนั้นใช้เมธอด .split_documents() เพื่อแบ่ง data และแสดงผล chunk ที่ได้

.css-6su6fj{-webkit-flex-shrink:0;-ms-flex-negative:0;flex-shrink:0;}แบบฝึกหัด

คำแนะนำ

แบบฝึกหัด