Bắt đầu ngayBắt đầu miễn phí

Đánh giá tính trung thực với Ragas

Trong bài tập này, bạn sẽ đánh giá tính trung thực (faithfulness) của kiến trúc RAG mà bạn đã tạo ở cuối Chương 1. Chuỗi này đã được định nghĩa lại cho bạn và có sẵn qua biến chain.

Bạn sẽ dùng query đã cho, đầu ra của chuỗi, và kết quả truy hồi để đánh giá tính trung thực bằng framework ragas.

Các lớp cần thiết đã được nhập sẵn cho bạn.

Bài tập này là một phần của khóa học

Retrieval Augmented Generation (RAG) với LangChain

Xem khóa học

Hướng dẫn bài tập

  • Gửi truy vấn đến retriever bằng query đã cho và dùng list comprehension để trích xuất văn bản tài liệu từ mỗi tài liệu đã truy hồi.
  • Định nghĩa một chuỗi đánh giá tính trung thực ragas.
  • Đánh giá tính trung thực của chain RAG hiện có; bạn sẽ cần invoke chuỗi để tạo ra câu trả lời.

Bài tập tương tác thực hành trực tiếp

Hãy thử làm bài tập này bằng cách hoàn thành đoạn mã mẫu này.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)
Chỉnh sửa và Chạy Mã