Evaluación de fidelidad con Ragas
En este ejercicio, vas a evaluar la fidelidad de la arquitectura RAG que creaste al final del Capítulo 1. Esta cadena se ha redefinido por ti y está disponible a través de la variable chain.
Usarás la query proporcionada, la salida de la cadena y los documentos recuperados para evaluar la fidelidad usando el framework ragas.
Las clases necesarias ya se han importado por ti.
Este ejercicio forma parte del curso
Retrieval Augmented Generation (RAG) con LangChain
Instrucciones del ejercicio
- Lanza una consulta al
retrieverusando laqueryproporcionada y utiliza una lista por comprensión para extraer el texto del documento de cada documento recuperado. - Define una cadena de fidelidad de
ragas. - Evalúa la fidelidad de la
chainde RAG disponible; tendrás que invocar la cadena para generar la respuesta.
Ejercicio interactivo práctico
Prueba este ejercicio y completa el código de muestra.
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)