शुरू करेंमुफ़्त में शुरू करें

स्ट्रिंग इवैल्युएशन

अब विशेषज्ञ द्वारा लिखे गए उत्तर से तुलना करके अंतिम आउटपुट का सही अर्थों में मूल्यांकन करने का समय है. आप इस स्ट्रिंग तुलना इवैल्युएशन के लिए LangSmith की LangChainStringEvaluator क्लास का उपयोग करेंगे.

स्ट्रिंग इवैल्युएशन के लिए एक prompt_template पहले से आपके लिए लिखा हुआ है:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

RAG चेन का आउटपुट predicted_answer में स्टोर है और विशेषज्ञ का उत्तर ref_answer में स्टोर है.

सारी आवश्यक क्लासेस आपके लिए इम्पोर्ट कर दी गई हैं.

यह अभ्यास पाठ्यक्रम का हिस्सा है

LangChain के साथ Retrieval Augmented Generation (RAG)

पाठ्यक्रम देखें

अभ्यास निर्देश

  • दिए गए eval_llm और prompt_template का उपयोग करके LangSmith QA स्ट्रिंग इवैल्युएटर बनाएँ.
  • RAG आउटपुट predicted_answer का इवैल्युएशन करें: query के लिए विशेषज्ञ के उत्तर, जो ref_answer में स्टोर है, से तुलना करके.

इंटरैक्टिव व्यावहारिक अभ्यास

इस अभ्यास को इस नमूना कोड को पूरा करके आज़माएँ।

# Create the QA string evaluator
qa_evaluator = ____(
    "____",
    config={
        "llm": ____,
        "prompt": ____
    }
)

query = "How does RAG improve question answering with LLMs?"

# Evaluate the RAG output by evaluating strings
score = qa_evaluator.evaluator.____(
    prediction=____,
    reference=____,
    input=____
)

print(f"Score: {score}")
कोड संपादित करें और चलाएँ