Python ファイルの分割
テキストファイルとコードファイルは同じ文字で構成されていますが、コードファイルには自然言語を超えた構造があります。分割時にこのコード特有の文脈を保つには、まず最も一般的なコード構造で分割を試みるようスプリッターを設定する必要があります。幸い、LangChain にはそのための機能が用意されています！
必要なクラスはすべてインポート済みで、langchain_text_splitters の Language も含まれています。
この演習はコースの一部です
LangChain で学ぶ Retrieval Augmented Generation (RAG)
演習の手順
- 一般的な Python のコード構造で分割できる再帰的な文字スプリッターを作成します。
- ドキュメントローダー
python_dataをチャンクに分割します。
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create a Python-aware recursive character splitter
python_splitter = RecursiveCharacterTextSplitter.____(
____, chunk_size=300, chunk_overlap=100
)
# Split the Python content into chunks
chunks = ____
for i, chunk in enumerate(chunks[:3]):
print(f"Chunk {i+1}:\n{chunk.page_content}\n")