Pythonファイルの分割

テキストファイルとコードファイルには両方同じ文字が入っていますが、コードファイルには自然言語以上の構造が含まれています。ドキュメントをチャンキングする際に、このコード特有のコンテキストを保持するには、まず最もよくある構造で分割するようスプリッターを設定する必要があり、LangChainにはまさにそれを実現する機能があります。

langchain_text_splittersのLanguageを含む、必要なクラスはすべてインポート済みです。

この演習はコースの一部です

LangChainで学ぶ検索拡張生成（RAG）

コースを見る

演習の手順

一般的なPythonのコード構造に基づいて分割するRecursiveCharacterTextSplitterツールを作成してください。
python_dataのドキュメントローダーをチャンク化してください。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
    ____, chunk_size=300, chunk_overlap=100
)

# Split the Python content into chunks
chunks = ____

for i, chunk in enumerate(chunks[:3]):
    print(f"Chunk {i+1}:\n{chunk.page_content}\n")

コードを編集して実行