Évaluation de la précision du contexte avec Ragas
Pour amorcer votre parcours d'évaluation RAG, vous allez commencer par évaluer la précision du contexte à l'aide du cadre ragas. Rappelez-vous que la précision du contexte mesure essentiellement à quel point les documents récupérés sont pertinents par rapport à la requête d'entrée.
Dans cet exercice, on vous fournit une requête d'entrée, les documents récupérés par une application RAG, ainsi que la vérité terrain, soit le document le plus approprié à récupérer selon l'avis d'un expert humain. Vous calculerez la précision du contexte à partir de ces chaînes avant d'évaluer une véritable chaîne RAG LangChain dans l'exercice suivant.
Le texte généré par l'application RAG a été enregistré dans la variable model_response pour alléger l'exemple.
Cette activité fait partie du cours
Retrieval Augmented Generation (RAG) avec LangChain
Instructions de l’exercice
- Définissez une chaîne de précision du contexte
ragas. - Évaluez la précision du contexte des documents récupérés fournis pour la requête d'entrée; une
"ground_truth"a déjà été fournie.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")