LangChainを使ってチャットモデルに外部データソースを統合する方法を学びます。LLMアプリで使用するデータの読み込み、分割、エンベディング、保存、検索の方法を身につけましょう。

LangChainでRAG用ドキュメントを読み込む

RAG用のPDFファイルの読み込み

RAG用のHTMLファイルの読み込み

テキスト分割・エンベディング・保存

テキスト分割を始めよう

ドキュメントを再帰的に分割する

ドキュメントのエンベディングと保存

LCEL検索チェーンの構築

検索プロンプトの作成

検索チェーンの構築

LangChainを使ったRAGの構築

ドキュメントの読み込み、分割、検索に関する最新の手法を学びます。Pythonファイルの読み込み、セマンティックチャンキング、MRRやセルフクエリ検索などの手法を扱います。さらに、正確性の高い指標や枠組みを使ってRAGアーキテクチャの評価を行う方法も学びます。

コードファイルの読み込みと分割

コードファイルの読み込み

Pythonファイルの分割

高度な分割方法

トークン単位でのチャンキング

セマンティックチャンキング

ドキュメント検索の最適化

疎検索と密検索

BM25の仕組みを理解する

BM25を使った疎検索

RAGの評価

Ragasでコンテキスト精度を評価する

Ragasによる忠実性評価

文字列評価

RAGアーキテクチャの改善

グラフデータベースと検索の仕組みが、従来のベクトルベースの保存や検索が抱える課題をどのように克服できるかを学びます。

ベクトルからグラフへ

グラフドキュメントを作成する

グラフの基本を理解する

ドキュメントの保存とクエリ

グラフデータベースを構築する

グラフデータベースへのクエリ

Graph RAGチェーンの作成

Graph RAGプロセス

Graph RAGシステムのプロセス

Graph RAGのチェーン構築

グラフ検索の改善

絞り込みを使ったGraph RAG

Cypherクエリを検証する

Cypherのフューショットプロンプトを作成する

まとめ

Graph RAG入門

RAG Academic Paper PDF

RAG Workflow Python File

LangChain README Markdown

Chatbot Python File

DataCamp Blog HTML

コンピューター、スマートフォン、ソフトウェアに組み込まれるようになっているLLM（大規模言語モデル）。しかし、LLMには一つの弱点があります。それは、知識が学習データの範囲に限定されており、そのデータを更新するのに時間とコストがかかるという点です。そこで登場するのが検索拡張生成（RAG）です。RAGを使うことで、外部データとLLMを統合することができます。このコースでは、LLM向けに外部データを読み込み、処理し、検索するための最新の手法を学びます。ベクトルデータベース、最新のLLM、LangChainフレームワークを活用して、RAGを構築します。最終章では、RAGをさらに発展させ、グラフデータベースを使って精度の高いデータ検索を実現するGraph RAGについて学びます。

<h2>LangChainを使ったRAGの構築</h2>検索拡張生成（RAG）は、大規模言語モデル（LLM）の課題の1つである知識の限界を克服するために用いられる手法です。 RAGシステムを使えば、さまざまなソースからの外部データをLLMに統合できます。 通常は面倒な複数のシステムとの接続作業も、LangChainなら驚くほど簡単にできます！<br><br><h2>最先端の分割・検索手法を学ぶ</h2>RAGアーキテクチャをレベルアップしましょう！PythonやMarkdownファイルなどのコードファイルを読み込み、コードの構文を正しく認識した状態で適切に分割する方法を学びます。 取得したドキュメントがモデルのコンテキストウィンドウ内に収まるように、文字ではなくトークンごとにドキュメントを分割します。 テキスト内のトピックが切り替わるタイミングを検出し、その箇所で分割するセマンティックチャンキングがコンテキストを維持するのにどのように役立つかを学びましょう。 最後は、LangSmithとRagasを使ったRAGアーキテクチャを評価する方法を学びます。<br><br><h2>Graph RAGアーキテクチャを理解する</h2>RAGアーキテクチャを根本から見直し、ベクトルベースではなくグラフベースのRAGシステムが、グラフ構造を取り入れることで、ドキュメント内に登場するエンティティやそれらのリレーションシップに対するシステムの理解度を飛躍的に向上させることができます。 LLMを使って、非構造化テキストデータをグラフに変換しましょう。 その後、生成されたグラフドキュメントをNeo4jグラフデータベースに格納し、それを全体的なRAGシステムに組み込むことで、システムを完成させます。

Developing LLM Applications with LangChain

LangChainを使ったRAGで外部データとLLMを統合する最先端手法を学ぶ。

LangChainで学ぶ検索拡張生成（RAG）

LangChainを使った検索拡張生成（RAG）で外部データをLLMと統合する最先端手法を学びます。

LangChainを使ったアプリケーション開発

LLMを使ってユーザーの入力をCypher クエリに変換する

Cypherを使ってグラフデータベースにクエリを実行する

LLMを使って取得したグラフドキュメントを自然言語に変換する

自然言語による回答をユーザーに返す

Graph RAGシステムのプロセス

LangChainで学ぶ検索拡張生成（RAG）

実践的なインタラクティブ演習