Evaluación de precisión de contexto con Ragas
Para empezar tu proceso de evaluación de RAG, vas a evaluar la métrica de precisión de contexto usando el framework ragas. Recuerda que la precisión de contexto mide, en esencia, cuán relevantes son los documentos recuperados para la consulta de entrada.
En este ejercicio, se te ha dado una consulta de entrada, los documentos recuperados por una aplicación RAG y la verdad de referencia, que es el documento más apropiado para recuperar según la opinión de una persona experta. Calcularás la precisión de contexto sobre estas cadenas antes de evaluar una cadena RAG real de LangChain en el siguiente ejercicio.
El texto generado por la aplicación RAG se ha guardado en la variable model_response para simplificar.
Este ejercicio forma parte del curso
Retrieval Augmented Generation (RAG) con LangChain
Instrucciones del ejercicio
- Define una cadena de precisión de contexto de
ragas. - Evalúa la precisión de contexto de los documentos recuperados proporcionados a la consulta de entrada; ya se ha incluido una
"ground_truth".
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")