Оцінювання рядків

Час справді оцінити фінальний результат, порівнявши його з відповіддю, підготовленою предметним експертом. Ви використаєте клас LangSmith LangChainStringEvaluator для такого порівняльного оцінювання рядків.

prompt_template для оцінювання рядків уже підготовлено для вас як:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

Вивід з ланцюга RAG збережено як predicted_answer, а відповідь експерта — як ref_answer.

Усі необхідні класи вже імпортовано для вас.

Ця вправа є частиною курсу

Retrieval Augmented Generation (RAG) з LangChain

Переглянути курс

Інструкції до вправи

Створіть оцінювач рядків QA у LangSmith, використавши надані eval_llm і prompt_template.
Оцініть результат RAG, predicted_answer, порівнявши його з відповіддю експерта на query, що збережена як ref_answer.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Create the QA string evaluator
qa_evaluator = ____(
    "____",
    config={
        "llm": ____,
        "prompt": ____
    }
)

query = "How does RAG improve question answering with LLMs?"

# Evaluate the RAG output by evaluating strings
score = qa_evaluator.evaluator.____(
    prediction=____,
    reference=____,
    input=____
)

print(f"Score: {score}")

Редагувати та запускати код