Ragas 評価の作成
ragas を使って評価するには、LLM を選び、評価用データセットを作成し、評価に用いる指標を選ぶ必要があります。前の動画で学んだように、Graph RAG の重要な指標は「コンテキスト精度(context precision)」と「ノイズ感度(noise sensitivity)」です。
llm はすでに用意されており、プレーンなベクトル検索、text-to-cypher、ハイブリッド検索の違いを示すサンプル結果(cypher_result)も与えられています。
この演習はコースの一部です
Graph RAG with LangChain and Neo4j
実践的なインタラクティブ演習
このサンプルコードを完成させて、この演習に挑戦してみましょう。
# Create an evaluation LLM
evaluator_llm = ____(llm)