1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Retrieval Augmented Generation (RAG) with LangChain
Connected

cvičení

Vyhodnocení řetězce

Teď přichází na řadu skutečné vyhodnocení výsledného výstupu — porovnáš ho s odpovědí od odborníka na danou problematiku. K tomuto porovnání použiješ třídu LangChainStringEvaluator z LangSmith.

prompt_template pro vyhodnocení řetězce je už připravená:

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

Výstup z RAG řetězce je uložen jako predicted_answer a odpověď odborníka jako ref_answer.

Všechny potřebné třídy jsou už naimportované.

Pokyny

100 XP
  • Vytvoř QA string evaluátor LangSmith s použitím poskytnutých eval_llm a prompt_template.
  • Vyhodnoť výstup RAG, predicted_answer, jeho porovnáním s odpovědí odborníka na query, která je uložena jako ref_answer.