Avaliação de fidelity com Ragas
Neste exercício, você vai avaliar a fidelidade da arquitetura RAG que criou no final do Capítulo 1. Essa chain foi redefinida para você e está disponível na variável chain.
Você usará a query fornecida, a saída da chain e os documentos recuperados para avaliar a fidelidade usando o framework ragas.
As classes necessárias já foram importadas para você.
Este exercício faz parte do curso
Retrieval Augmented Generation (RAG) com LangChain
Instruções do exercício
- Consulte o
retrieverusando aqueryfornecida e use uma list comprehension para extrair o texto de cada documento recuperado. - Defina uma chain de fidelidade do
ragas. - Avalie a fidelidade da
chainde RAG disponível; você precisará invocar a chain para gerar a resposta.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)