開始使用免費開始

分割 HTML

在這個練習中,你要分割一份 HTML 檔案,內容是美國白宮於 2023 年 10 月發布的 AI 行政命令。為了在分塊時盡可能保留上下文,你會使用較大的 chunk_sizechunk_overlap 值進行分割。

完成本練習所需的所有 LangChain 類別都已為你預先載入。

本練習屬於課程

使用 LangChain 開發 LLM 應用

檢視課程

練習說明

  • 建立一個針對 white_house_executive_order_nov_2023.htmlUnstructuredHTMLLoader,並將其載入記憶體。
  • chunk_size 設為 300chunk_overlap 設為 100
  • 建立一個以 '.' 字元為分隔依據的 RecursiveCharacterTextSplitter,使用 .split_documents() 方法分割 data,並列印各個分塊。

動手互動練習

試著完成這個範例程式碼,體驗一下這個練習。

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)
編輯並執行程式碼