拆分 HTML
在本练习中,您将对一个包含美国白宫于 2023 年 10 月发布的 AI 行政令的 HTML 进行拆分。为尽可能保留片段中的上下文,您将使用较大的 chunk_size 和 chunk_overlap 值进行拆分。
完成本练习所需的所有 LangChain 类已为您预加载。
本练习是课程的一部分
使用 LangChain 开发 LLM 应用
练习说明
- 为
white_house_executive_order_nov_2023.html创建一个UnstructuredHTMLLoader,并将其加载到内存。 - 将
chunk_size设为300,chunk_overlap设为100。 - 创建一个以
'.'字符进行拆分的RecursiveCharacterTextSplitter,使用.split_documents()方法对data进行拆分并打印片段。
交互式实操练习
通过完成这段示例代码来试试这个练习。
# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()
# Define variables
chunk_size = ____
chunk_overlap = ____
# Split the HTML
splitter = RecursiveCharacterTextSplitter(
chunk_size=chunk_size,
chunk_overlap=chunk_overlap,
separators=____)
docs = splitter.____(data)
print(docs)