Metin değerlendirme

Artık nihai çıktıyı, konu uzmanı tarafından yazılmış bir yanıtla karşılaştırarak gerçekten değerlendirme zamanı. Bu metin karşılaştırma değerlendirmesini yapmak için LangSmith'in LangChainStringEvaluator sınıfını kullanacaksın.

Metin değerlendirme için bir prompt_template zaten senin için yazıldı:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

RAG zincirinden gelen çıktı predicted_answer olarak, uzmanın yanıtı ise ref_answer olarak saklanıyor.

Gerekli tüm sınıflar senin için içe aktarıldı.

Bu egzersiz, kursun bir parçasıdır

LangChain ile Retrieval Augmented Generation (RAG)

Kursa Göz Atın

Egzersiz talimatları

Verilen eval_llm ve prompt_template kullanarak LangSmith QA metin değerlendiricisini oluştur.
RAG çıktısı olan predicted_answer değerini, query için uzmanın yanıtı olan ve ref_answer içinde saklanan yanıtla karşılaştırarak değerlendir.

Uygulamalı etkileşimli egzersiz

Bu egzersizi bu örnek kodu tamamlayarak deneyin.

# Create the QA string evaluator
qa_evaluator = ____(
    "____",
    config={
        "llm": ____,
        "prompt": ____
    }
)

query = "How does RAG improve question answering with LLMs?"

# Evaluate the RAG output by evaluating strings
score = qa_evaluator.evaluator.____(
    prediction=____,
    reference=____,
    input=____
)

print(f"Score: {score}")

Kodu Düzenle ve Çalıştır