Ragas-evaluatie van contextprecisie
Om te beginnen met je RAG-evaluatie ga je de contextprecisie-metric evalueren met het ragas-framework. Onthoud dat contextprecisie in feite meet hoe relevant de opgehaalde documenten zijn voor de inputvraag.
In deze oefening krijg je een inputvraag, de documenten die door een RAG-toepassing zijn opgehaald, en de ground truth: het document dat volgens een menselijke expert het meest geschikt was om op te halen. Je berekent de contextprecisie op deze strings voordat je in de volgende oefening een echte LangChain RAG-keten evalueert.
De tekst die door de RAG-toepassing is gegenereerd, is voor de leesbaarheid opgeslagen in de variabele model_response.
Deze oefening maakt deel uit van de cursus
Retrieval Augmented Generation (RAG) met LangChain
Oefeninstructies
- Definieer een
ragas-keten voor contextprecisie. - Evalueer de contextprecisie van de opgehaalde documenten die bij de inputvraag horen; een
"ground_truth"is al meegegeven.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")