Utvärdering av kontextprecision med Ragas

För att komma igång med RAG-utvärdering börjar du med att utvärdera RAG-måttet kontextprecision med hjälp av ragas-ramverket. Kom ihåg att kontextprecision i grunden mäter hur relevanta de hämtade dokumenten är i förhållande till indatafrågan.

I den här övningen får du en indatafråga, de dokument som hämtats av en RAG-applikation samt en referenslösning – det vill säga det dokument som en mänsklig expert ansett vara mest lämpligt att hämta. Du beräknar kontextprecisionen på dessa strängar innan du utvärderar en faktisk LangChain RAG-kedja i nästa övning.

Texten som genererats av RAG-applikationen har sparats i variabeln model_response för korthetens skull.

Den här övningen är en del av kursen

Retrieval Augmented Generation (RAG) med LangChain

Visa kurs

Övningsinstruktioner

Definiera en ragas-kedja för kontextprecision.
Utvärdera kontextprecisionen för de hämtade dokumenten mot indatafrågan – ett "ground_truth" har redan angetts.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

from ragas.metrics import context_precision

# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)

# Evaluate the context precision of the RAG chain
eval_result = ____({
  "question": "How does RAG enable AI applications?",
  "ground_truth": "RAG enables AI applications by integrating external data in generative models.",
  "contexts": [
    "RAG enables AI applications by integrating external data in generative models.",
    "RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
  ]
})

print(f"Context Precision: {eval_result['context_precision']}")

Redigera och kör kod