Evaluarea preciziei contextului cu Ragas
Pentru a-ți începe parcursul de evaluare RAG, vei evalua metrica context precision (precizia contextului) folosind framework-ul ragas. Reamintește-ți că precizia contextului măsoară, în esență, cât de relevante sunt documentele recuperate față de interogarea de intrare.
În acest exercițiu, ți-au fost furnizate o interogare de intrare, documentele recuperate de o aplicație RAG și ground truth-ul – adică documentul considerat cel mai potrivit de către un expert uman. Vei calcula precizia contextului pe aceste șiruri de caractere, înainte de a evalua un lanț RAG LangChain propriu-zis în exercițiul următor.
Textul generat de aplicația RAG a fost salvat în variabila model_response pentru concizie.
Acest exercițiu face parte din cursul
Retrieval Augmented Generation (RAG) cu LangChain
Instrucțiuni pentru exercițiu
- Definește un lanț de precizie a contextului cu
ragas. - Evaluează precizia contextului documentelor recuperate față de interogarea de intrare;
"ground_truth"-ul a fost deja introdus.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")