1. 학습
    2. /
  2. 강의
    3. /
  3. LangChain で学ぶ Retrieval Augmented Generation (RAG)
Connected

연습 문제

Ragas のコンテキスト適合率（precision）評価

RAG の評価を始めるにあたり、まずは ragas フレームワークを使って コンテキスト適合率（context precision） の評価から取り組みます。コンテキスト適合率は、取得されたドキュメントが入力クエリにどれだけ関連しているかを測る指標です。

この演習では、入力クエリ、RAG アプリケーションが取得したドキュメント、そして人間の専門家の判断に基づく最適な取得ドキュメント（ground truth）が与えられています。次の演習で実際の LangChain の RAG チェーンを評価する前に、まずはこれらの文字列に対してコンテキスト適合率を計算します。

RAG アプリケーションが生成したテキストは、簡潔にするために変数 model_response に保存されています。

지침

100 XP
  • ragas のコンテキスト適合率チェーンを定義します。
  • 入力クエリに対して提供された取得ドキュメントのコンテキスト適合率を評価します。"ground_truth" はすでに入力済みです。