शुरू करेंमुफ़्त में शुरू करें

Ragas context precision मूल्यांकन

RAG मूल्यांकन की शुरुआत करने के लिए, आप ragas फ्रेमवर्क का उपयोग करके context precision RAG metric का मूल्यांकन करेंगे. याद रखें, context precision मूलतः यह मापता है कि retrieved डॉक्यूमेंट्स इनपुट क्वेरी के लिए कितने प्रासंगिक हैं.

इस अभ्यास में आपको एक इनपुट क्वेरी, RAG एप्लिकेशन द्वारा retrieved डॉक्यूमेंट्स, और ग्राउंड ट्रुथ दिया गया है — यानी मानव विशेषज्ञ की राय के अनुसार सबसे उपयुक्त डॉक्यूमेंट जिसे retrieve होना चाहिए था. अगले अभ्यास में वास्तविक LangChain RAG चेन का मूल्यांकन करने से पहले, आप इन स्ट्रिंग्स पर context precision की गणना करेंगे.

संक्षेप के लिए, RAG एप्लिकेशन द्वारा जनरेट किया गया टेक्स्ट वैरिएबल model_response में सेव किया गया है.

यह अभ्यास पाठ्यक्रम का हिस्सा है

LangChain के साथ Retrieval Augmented Generation (RAG)

पाठ्यक्रम देखें

अभ्यास निर्देश

  • एक ragas context precision चेन परिभाषित करें.
  • इनपुट क्वेरी के लिए दिए गए retrieved डॉक्यूमेंट्स की context precision का मूल्यांकन करें; "ground_truth" पहले से दिया गया है.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

from ragas.metrics import context_precision

# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)

# Evaluate the context precision of the RAG chain
eval_result = ____({
  "question": "How does RAG enable AI applications?",
  "ground_truth": "RAG enables AI applications by integrating external data in generative models.",
  "contexts": [
    "RAG enables AI applications by integrating external data in generative models.",
    "RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
  ]
})

print(f"Context Precision: {eval_result['context_precision']}")
कोड संपादित करें और चलाएँ