始める無料で始める

HTMLの分割

この演習では、2023年10月に米国ホワイトハウスが発表したAIに関する大統領令を含むHTMLファイルを分割します。チャンクにできるだけ多くの文脈を保持するため、chunk_size と chunk_overlap に大きめの値を設定します。

この演習に必要なLangChainのクラスはすべて事前に読み込まれています。

この演習はコースの一部です

LangChainを使ったLLMアプリケーション開発

コースを見る

演習の手順

  • UnstructuredHTMLLoader に対して white_house_executive_order_nov_2023.html を作成し、メモリに読み込みます。
  • chunk_size を 300 に、chunk_overlap を 100 に設定します。
  • RecursiveCharacterTextSplitter 文字で分割する '.' を作成し、.split_documents() メソッドを使って data を分割して、チャンクを出力します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Load the HTML document into memory
loader = UnstructuredHTMLLoader(____)
data = loader.____()

# Define variables
chunk_size = ____
chunk_overlap = ____

# Split the HTML
splitter = RecursiveCharacterTextSplitter(
    chunk_size=chunk_size,
    chunk_overlap=chunk_overlap,
    separators=____)

docs = splitter.____(data)
print(docs)
コードを編集して実行