1. 学ぶ
    2. /
  2. コース
    3. /
  3. LangChain で学ぶ Retrieval Augmented Generation (RAG)
Connected

演習

Python ファイルの分割

テキストファイルとコードファイルは同じ文字で構成されていますが、コードファイルには自然言語を超えた構造があります。分割時にこのコード特有の文脈を保つには、まず最も一般的なコード構造で分割を試みるようスプリッターを設定する必要があります。幸い、LangChain にはそのための機能が用意されています！

必要なクラスはすべてインポート済みで、langchain_text_splitters の Language も含まれています。

指示

100 XP
  • 一般的な Python のコード構造で分割できる再帰的な文字スプリッターを作成します。
  • ドキュメントローダー python_data をチャンクに分割します。