시작하기무료로 시작하기

HTML 분할하기

이 연습 문제에서는 2023년 10월 미국 백악관에서 발표한 AI 관련 행정명령이 담긴 HTML을 분할해 보겠습니다. 청크에 가능한 한 많은 문맥을 유지하기 위해 더 큰 chunk_size와 chunk_overlap 값을 사용해 분할할 거예요.

이 연습 문제를 완료하는 데 필요한 LangChain 클래스는 모두 미리 로드되어 있습니다.

이 연습은 강의의 일부입니다

LangChain으로 LLM 애플리케이션 개발하기

강의 보기

연습 안내

  • white_house_executive_order_nov_2023.html에 대한 UnstructuredHTMLLoader를 만들고, 이를 메모리에 로드하세요.
  • chunk_size를 300, chunk_overlap을 100으로 설정하세요.
  • '.' 문자 기준으로 분할하는 RecursiveCharacterTextSplitter를 만들고, .split_documents() 메서드를 사용해 data를 분할한 뒤 청크를 출력하세요.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)
코드 편집 및 실행