Ragas 문맥 정밀도 평가
RAG 평가를 시작하기 위해 ragas 프레임워크를 사용해 문맥 정밀도(context precision) RAG 지표를 먼저 평가해 보겠습니다. 문맥 정밀도는 본질적으로 검색된 문서가 입력 질의와 얼마나 관련이 있는지를 측정합니다.
이 연습 문제에서는 입력 질의, RAG 애플리케이션이 검색한 문서들, 그리고 인간 전문가의 판단에 따라 가장 적절한 것으로 간주된 문서(그라운드 트루스)가 제공됩니다. 다음 연습 문제에서 실제 LangChain RAG 체인을 평가하기 전에, 먼저 이 문자열들을 바탕으로 문맥 정밀도를 계산해 보세요.
간결함을 위해 RAG 애플리케이션이 생성한 텍스트는 model_response 변수에 저장되어 있어요.
이 연습은 강의의 일부입니다
LangChain을 활용한 RAG(검색 증강 생성)
연습 안내
ragas문맥 정밀도 체인을 정의하세요.- 입력 질의에 대해 제공된 검색 문서들의 문맥 정밀도를 평가하세요.
"ground_truth"는 이미 제공되어 있어요.
실습형 인터랙티브 연습
이 예제를 이 샘플 코드를 완성하여 풀어보세요.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")