始める無料で始める

Ragas 評価の作成

ragas を使って評価するには、LLM を選び、評価用データセットを作成し、評価に用いる指標を選ぶ必要があります。前の動画で学んだように、Graph RAG の重要な指標は「コンテキスト精度(context precision)」と「ノイズ感度(noise sensitivity)」です。

llm はすでに用意されており、プレーンなベクトル検索、text-to-cypher、ハイブリッド検索の違いを示すサンプル結果(cypher_result)も与えられています。

この演習はコースの一部です

Graph RAG with LangChain and Neo4j

コースを見る

実践的なインタラクティブ演習

このサンプルコードを完成させて、この演習に挑戦してみましょう。

# Create an evaluation LLM
evaluator_llm = ____(llm)
コードを編集して実行