1. Apprendre
    2. /
  2. Cours
    3. /
  3. Génération augmentée par la recherche (RAG) avec LangChain
Connected

Exercice

Évaluation de chaînes

Il est temps d'évaluer réellement le résultat final en le comparant à une réponse rédigée par une experte ou un expert du domaine. Vous utiliserez la classe LangChainStringEvaluator de LangSmith pour effectuer cette évaluation par comparaison de chaînes.

Un prompt_template pour l'évaluation de chaînes a déjà été préparé pour vous :

You are an expert professor specialized in grading students' answers to questions.
You are grading the following question:{query}
Here is the real answer:{answer}
You are grading the following predicted answer:{result}
Respond with CORRECT or INCORRECT:
Grade:

La sortie de la chaîne RAG est enregistrée dans predicted_answer et la réponse de l'experte ou de l'expert est enregistrée dans ref_answer.

Toutes les classes nécessaires ont été importées pour vous.

Instructions

100 XP
  • Créez l'évaluateur de chaînes QA de LangSmith en utilisant eval_llm et prompt_template fournis.
  • Évaluez la sortie de RAG, predicted_answer, en la comparant à la réponse de l'experte ou de l'expert à la query, qui est enregistrée dans ref_answer.