Розбиття HTML
У цій вправі ви розібʼєте HTML, що містить виконавчий указ щодо ШІ, оприлюднений Білим домом США у жовтні 2023 року. Щоб зберегти якомога більше контексту в фрагментах, ви використаєте більші значення для chunk_size і chunk_overlap.
Усі класи LangChain, необхідні для виконання цієї вправи, уже підключено для вас.
Ця вправа є частиною курсу
Розроблення застосунків LLM за допомогою LangChain
Інструкції до вправи
- Створіть
UnstructuredHTMLLoaderдляwhite_house_executive_order_nov_2023.htmlі завантажте його в памʼять. - Встановіть
chunk_sizeрівним300іchunk_overlapрівним100. - Створіть
RecursiveCharacterTextSplitter, який розбиває за символом'.', і скористайтеся методом.split_documents(), щоб розбитиdataта вивести фрагменти.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()
# Define variables
chunk_size = ____
chunk_overlap = ____
# Split the HTML
splitter = RecursiveCharacterTextSplitter(
chunk_size=chunk_size,
chunk_overlap=chunk_overlap,
separators=____)
docs = splitter.____(data)
print(docs)