Avaliação de context precision com Ragas
Para começar sua jornada de avaliação de RAG, você vai avaliar a métrica de context precision usando o framework ragas. Lembre que context precision é, essencialmente, uma medida de quão relevantes os documentos recuperados são para a consulta de entrada.
Neste exercício, você recebeu uma consulta de entrada, os documentos recuperados por uma aplicação RAG e o ground truth, que foi o documento mais apropriado a ser recuperado segundo a opinião de um especialista humano. Você calculará a context precision nessas strings antes de avaliar uma cadeia RAG real do LangChain no próximo exercício.
O texto gerado pela aplicação RAG foi salvo na variável model_response para simplificar.
Este exercício faz parte do curso
Retrieval Augmented Generation (RAG) com LangChain
Instruções do exercício
- Defina uma cadeia de context precision do
ragas. - Avalie a context precision dos documentos recuperados fornecidos para a consulta de entrada; o
"ground_truth"já foi informado.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")