Tách HTML
Trong bài này, bạn sẽ tách một tệp HTML chứa sắc lệnh hành pháp về AI do Nhà Trắng (Mỹ) ban hành vào tháng 10/2023. Để giữ lại nhiều ngữ cảnh nhất trong các đoạn, bạn sẽ tách với chunk_size và chunk_overlap lớn hơn.
Tất cả các lớp của LangChain cần thiết để hoàn thành bài đã được nạp sẵn cho bạn.
Bài tập này là một phần của khóa học
Phát triển ứng dụng LLM với LangChain
Hướng dẫn bài tập
- Tạo
UnstructuredHTMLLoaderchowhite_house_executive_order_nov_2023.htmlvà nạp nó vào bộ nhớ. - Đặt
chunk_sizelà300vàchunk_overlaplà100. - Tạo
RecursiveCharacterTextSplittertách theo ký tự'.', rồi dùng phương thức.split_documents()để táchdatavà in ra các đoạn.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()
# Define variables
chunk_size = ____
chunk_overlap = ____
# Split the HTML
splitter = RecursiveCharacterTextSplitter(
chunk_size=chunk_size,
chunk_overlap=chunk_overlap,
separators=____)
docs = splitter.____(data)
print(docs)