1. Learn
    2. /
  2. Cursuri
    3. /
  3. Retrieval Augmented Generation (RAG) cu LangChain
Connected

exercițiu

Evaluarea prin comparare de șiruri

E momentul să evaluezi rezultatul final comparându-l cu un răspuns scris de un expert în domeniu. Vei folosi clasa LangChainStringEvaluator din LangSmith pentru a realiza această evaluare prin comparare de șiruri.

Un prompt_template pentru evaluarea prin șiruri a fost deja pregătit pentru tine:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

Rezultatul lanțului RAG este stocat în predicted_answer, iar răspunsul expertului este stocat în ref_answer.

Toate clasele necesare au fost deja importate pentru tine.

Instrucțiuni

100 XP
  • Creează evaluatorul QA string din LangSmith folosind eval_llm și prompt_template furnizate.
  • Evaluează rezultatul RAG, predicted_answer, comparându-l cu răspunsul expertului la query, stocat în ref_answer.