การแบ่ง HTML
ในแบบฝึกหัดนี้ คุณจะแบ่งไฟล์ HTML ที่มีเนื้อหาคำสั่งผู้บริหารว่าด้วย AI ซึ่งออกโดยทำเนียบขาวของสหรัฐฯ ในเดือนตุลาคม 2023 เพื่อรักษาบริบทในแต่ละ chunk ให้มากที่สุด คุณจะใช้ค่า chunk_size และ chunk_overlap ที่มีขนาดใหญ่ขึ้น
คลาส LangChain ทั้งหมดที่จำเป็นสำหรับแบบฝึกหัดนี้ถูกโหลดไว้ให้แล้ว
แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร
การพัฒนาแอปพลิเคชัน LLM ด้วย LangChain
คำแนะนำการฝึกหัด
- สร้าง
UnstructuredHTMLLoaderสำหรับไฟล์white_house_executive_order_nov_2023.htmlแล้วโหลดเข้าสู่หน่วยความจำ - กำหนด
chunk_sizeเป็น300และchunk_overlapเป็น100 - สร้าง
RecursiveCharacterTextSplitterโดยแบ่งที่อักขระ'.'จากนั้นใช้เมธอด.split_documents()เพื่อแบ่งdataและแสดงผล chunk ที่ได้
แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ
ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์
# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()
# Define variables
chunk_size = ____
chunk_overlap = ____
# Split the HTML
splitter = RecursiveCharacterTextSplitter(
chunk_size=chunk_size,
chunk_overlap=chunk_overlap,
separators=____)
docs = splitter.____(data)
print(docs)