Оценка достоверности с помощью Ragas
В этом упражнении вы оцените достоверность архитектуры RAG, созданной в конце главы 1. Эта цепочка уже переопределена и доступна через переменную chain.
Вы будете использовать предоставленный query, выходные данные цепочки и найденные документы для оценки достоверности с помощью фреймворка ragas.
Необходимые классы уже импортированы.
Это упражнение является частью курса
Retrieval Augmented Generation (RAG) с LangChain
Инструкции к упражнению
- Выполните запрос к
retriever, используя предоставленныйquery, и с помощью спискового включения извлеките текст из каждого найденного документа. - Определите цепочку оценки достоверности
ragas. - Оцените достоверность доступной цепочки RAG
chain; для получения ответа вам потребуется вызвать цепочку.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)