テキスト分割を始めよう

いよいよ分割作業を始めましょう。文字列変数textには、RAGに関する説明文が格納されています。この文字列を「'.'」の出現箇所で分割してください。分割結果を確認し、この方法がうまく機能したか見てみましょう。

この演習はコースの一部です

LangChainで学ぶ検索拡張生成（RAG）

演習の手順

「'.'」で分割するLangChainのテキストスプリッターを定義してください。chunksizeは75、chunkoverlapは10とします。
定義したtext_splitterを使ってtextを分割します。

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

text = '''RAG (retrieval augmented generation) is an advanced NLP model that combines retrieval mechanisms with generative capabilities. RAG aims to improve the accuracy and relevance of its outputs by grounding responses in precise, contextually appropriate data.'''

# Define a text splitter that splits on the '.' character
text_splitter = ____(
    ____,
    ____,  
    ____  
)

# Split the text using text_splitter
chunks = text_splitter.____
print(chunks)
print([len(chunk) for chunk in chunks])

コードを編集して実行