Évaluation de la précision du contexte avec Ragas
Pour démarrer votre parcours d’évaluation RAG, vous allez commencer par évaluer la métrique de précision du contexte avec le framework ragas. Rappelez‑vous que la précision du contexte mesure essentiellement à quel point les documents récupérés sont pertinents par rapport à la requête en entrée.
Dans cet exercice, on vous fournit une requête d’entrée, les documents récupérés par une application RAG, ainsi que la vérité terrain (ground truth), c’est‑à‑dire le document jugé le plus approprié à récupérer selon un expert humain. Vous calculerez la précision du contexte sur ces chaînes avant d’évaluer une véritable chaîne RAG LangChain dans l’exercice suivant.
Le texte généré par l’application RAG a été enregistré dans la variable model_response pour alléger le code.
Cet exercice fait partie du cours
Retrieval Augmented Generation (RAG) avec LangChain
Instructions
- Définissez une chaîne de précision du contexte
ragas. - Évaluez la précision du contexte des documents récupérés fournis à la requête en entrée ; un
"ground_truth"a déjà été renseigné.
Exercice interactif pratique
Essayez cet exercice en complétant cet exemple de code.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")