1. Learn
    2. /
  2. Курси
    3. /
  3. Retrieval Augmented Generation (RAG) з LangChain
Connected

вправа

Оцінювання рядків

Час справді оцінити фінальний результат, порівнявши його з відповіддю, підготовленою предметним експертом. Ви використаєте клас LangSmith LangChainStringEvaluator для такого порівняльного оцінювання рядків.

prompt_template для оцінювання рядків уже підготовлено для вас як:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

Вивід з ланцюга RAG збережено як predicted_answer, а відповідь експерта — як ref_answer.

Усі необхідні класи вже імпортовано для вас.

Інструкції

100 XP
  • Створіть оцінювач рядків QA у LangSmith, використавши надані eval_llm і prompt_template.
  • Оцініть результат RAG, predicted_answer, порівнявши його з відповіддю експерта на query, що збережена як ref_answer.