Vyhodnocení přesnosti kontextu pomocí Ragas
Svoji cestu k vyhodnocování RAG začneš metrikou přesnosti kontextu (context precision) pomocí frameworku ragas. Připomeň si, že přesnost kontextu měří, jak relevantní jsou načtené dokumenty vzhledem k vstupnímu dotazu.
V tomto cvičení máš k dispozici vstupní dotaz, dokumenty načtené RAG aplikací a ground truth – tedy dokument, který by byl nejlépe vyhovující podle posouzení lidského experta. Přesnost kontextu vypočítáš na těchto řetězcích ještě před tím, než v příštím cvičení vyhodnotíš skutečný RAG řetězec v LangChainu.
Text vygenerovaný RAG aplikací je pro přehlednost uložen v proměnné model_response.
Toto cvičení je součástí kurzu
Retrieval Augmented Generation (RAG) with LangChain
Pokyny k cvičení
- Definuj řetězec pro vyhodnocení přesnosti kontextu pomocí
ragas. - Vyhodnoť přesnost kontextu načtených dokumentů vzhledem ke vstupnímu dotazu;
"ground_truth"už je připraven.
Interaktivní cvičení na vyzkoušení si v praxi
Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")