Ragas faithfulness evaluation
इस अभ्यास में, आप उस RAG आर्किटेक्चर की faithfulness का मूल्यांकन करेंगे जिसे आपने Chapter 1 के अंत में बनाया था। यह chain आपके लिए फिर से परिभाषित की गई है और chain वैरिएबल के रूप में उपलब्ध है.
आप दिए गए query, chain के आउटपुट, और retrieved आउटपुट का उपयोग करके ragas फ्रेमवर्क से faithfulness का आकलन करेंगे.
आवश्यक classes पहले से आपके लिए इम्पोर्ट की जा चुकी हैं.
यह अभ्यास पाठ्यक्रम का हिस्सा है
LangChain के साथ Retrieval Augmented Generation (RAG)
अभ्यास निर्देश
- दिए गए
queryका उपयोग करकेretrieverसे क्वेरी करें और list comprehension के जरिए प्रत्येक प्राप्त डॉक्यूमेंट से टेक्स्ट एक्सट्रैक्ट करें. - एक
ragasfaithfulness chain परिभाषित करें. - उपलब्ध RAG
chainकी faithfulness का मूल्यांकन करें; उत्तर जनरेट करने के लिए आपको chain को invoke करना होगा.
इंटरैक्टिव व्यावहारिक अभ्यास
इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)