Đánh giá context precision bằng Ragas
Để bắt đầu hành trình đánh giá RAG, bạn sẽ đánh giá context precision bằng framework ragas. Nhắc lại: context precision về cơ bản đo mức độ liên quan của các tài liệu truy xuất đối với truy vấn đầu vào.
Trong bài này, bạn được cung cấp một truy vấn đầu vào, các tài liệu do một ứng dụng RAG truy xuất, và ground truth, tức tài liệu phù hợp nhất cần truy xuất theo ý kiến của chuyên gia. Bạn sẽ tính context precision trên các chuỗi này trước khi đánh giá một chain RAG của LangChain ở bài tiếp theo.
Văn bản do ứng dụng RAG sinh ra đã được lưu vào biến model_response cho gọn.
Bài tập này là một phần của khóa học
Retrieval Augmented Generation (RAG) với LangChain
Hướng dẫn bài tập
- Định nghĩa một context precision chain của
ragas. - Đánh giá context precision của các tài liệu đã truy xuất đối với truy vấn đầu vào;
"ground_truth"đã được cung cấp.
Bài tập tương tác thực hành trực tiếp
Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")