Valutazione della context precision con Ragas
Per iniziare a valutare il tuo RAG, comincerai dalla metrica di context precision usando il framework ragas. Ricorda che la context precision misura, in sostanza, quanto i documenti recuperati siano pertinenti rispetto alla query in input.
In questo esercizio ti vengono forniti una query di input, i documenti recuperati da un'applicazione RAG e la ground truth, ovvero il documento più appropriato da recuperare secondo il parere di un esperto umano. Calcolerai la context precision su queste stringhe prima di valutare una vera catena RAG di LangChain nel prossimo esercizio.
Per brevità, il testo generato dall'applicazione RAG è stato salvato nella variabile model_response.
Questo esercizio fa parte del corso
Retrieval Augmented Generation (RAG) con LangChain
Istruzioni dell'esercizio
- Definisci una chain di context precision di
ragas. - Valuta la context precision dei documenti recuperati forniti per la query di input; una
"ground_truth"è già stata fornita.
Esercizio pratico interattivo
Prova a risolvere questo esercizio completando il codice di esempio.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")