开始使用免费开始使用

拆分 HTML

在本练习中,您将对一个包含美国白宫于 2023 年 10 月发布的 AI 行政令的 HTML 进行拆分。为尽可能保留片段中的上下文,您将使用较大的 chunk_sizechunk_overlap 值进行拆分。

完成本练习所需的所有 LangChain 类已为您预加载。

本练习是课程的一部分

使用 LangChain 开发 LLM 应用

查看课程

练习说明

  • white_house_executive_order_nov_2023.html 创建一个 UnstructuredHTMLLoader,并将其加载到内存。
  • chunk_size 设为 300chunk_overlap 设为 100
  • 创建一个以 '.' 字符进行拆分的 RecursiveCharacterTextSplitter,使用 .split_documents() 方法对 data 进行拆分并打印片段。

交互式实操练习

通过完成这段示例代码来试试这个练习。

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)
编辑并运行代码