Evaluasi string

Saatnya benar-benar mengevaluasi keluaran akhir dengan membandingkannya dengan jawaban yang ditulis oleh pakar bidangnya. Anda akan menggunakan kelas LangChainStringEvaluator dari LangSmith untuk melakukan evaluasi perbandingan string ini.

Sebuah prompt_template untuk evaluasi string telah dituliskan untuk Anda sebagai berikut:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

Keluaran dari rantai RAG disimpan sebagai predicted_answer dan respons pakar disimpan sebagai ref_answer.

Semua kelas yang diperlukan telah diimpor untuk Anda.

Latihan ini adalah bagian dari kursus

Retrieval Augmented Generation (RAG) dengan LangChain

Lihat Kursus

Petunjuk latihan

Buat evaluator string QA LangSmith menggunakan eval_llm dan prompt_template yang disediakan.
Evaluasi keluaran RAG, predicted_answer, dengan membandingkannya dengan respons pakar untuk query, yang disimpan sebagai ref_answer.

Latihan interaktif praktis

Cobalah latihan ini dengan menyelesaikan kode contoh berikut.

# Create the QA string evaluator
qa_evaluator = ____(
    "____",
    config={
        "llm": ____,
        "prompt": ____
    }
)

query = "How does RAG improve question answering with LLMs?"

# Evaluate the RAG output by evaluating strings
score = qa_evaluator.evaluator.____(
    prediction=____,
    reference=____,
    input=____
)

print(f"Score: {score}")

Edit dan Jalankan Kode