文字で分割する

Retrieval Augmented Generation（RAG）を実装するうえで重要なプロセスの1つが、ベクターデータベースに保存するためにドキュメントをチャンクに分割することです。

LangChain にはいくつかの分割戦略があり、複雑なものもあります。この演習では、ドキュメントを文字に基づいて分割し、チャンクの長さを文字数で測る「文字テキストスプリッター」を実装します。

最適な分割戦略は1つに定まりません。ユースケースに合う方法を見つけるには、いくつか試してみる必要があります。