分割 HTML
在這個練習中,你要分割一份 HTML 檔案,內容是美國白宮於 2023 年 10 月發布的 AI 行政命令。為了在分塊時盡可能保留上下文,你會使用較大的 chunk_size 和 chunk_overlap 值進行分割。
完成本練習所需的所有 LangChain 類別都已為你預先載入。
本練習屬於課程
使用 LangChain 開發 LLM 應用
練習說明
- 建立一個針對
white_house_executive_order_nov_2023.html的UnstructuredHTMLLoader,並將其載入記憶體。 - 將
chunk_size設為300,chunk_overlap設為100。 - 建立一個以
'.'字元為分隔依據的RecursiveCharacterTextSplitter,使用.split_documents()方法分割data,並列印各個分塊。
動手互動練習
試著完成這個範例程式碼,體驗一下這個練習。
# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()
# Define variables
chunk_size = ____
chunk_overlap = ____
# Split the HTML
splitter = RecursiveCharacterTextSplitter(
chunk_size=chunk_size,
chunk_overlap=chunk_overlap,
separators=____)
docs = splitter.____(data)
print(docs)