Ewaluacja context precision za pomocą Ragas
Zaczniesz swoją przygodę z ewaluacją RAG od oceny metryki context precision przy użyciu frameworka ragas. Przypomnij sobie, że context precision mierzy, jak bardzo pobrane dokumenty są trafne względem zadanego zapytania.
W tym ćwiczeniu masz już przygotowane: zapytanie wejściowe, dokumenty pobrane przez aplikację RAG oraz tzw. ground truth – czyli dokument uznany za najbardziej odpowiedni przez eksperta. Obliczysz context precision na tych danych, zanim w kolejnym ćwiczeniu przejdziesz do ewaluacji rzeczywistego łańcucha RAG w LangChain.
Tekst wygenerowany przez aplikację RAG został zapisany w zmiennej model_response.
To ćwiczenie jest częścią kursu
Retrieval Augmented Generation (RAG) z LangChain
Instrukcje do ćwiczenia
- Zdefiniuj łańcuch context precision przy użyciu biblioteki
ragas. - Oblicz context precision dla pobranych dokumentów względem zapytania wejściowego; wartość
"ground_truth"została już podana.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")