การประเมิน context precision ด้วย Ragas

เพื่อเริ่มต้นการประเมิน RAG ในแบบฝึกหัดนี้ จะได้ฝึกประเมินเมตริก context precision โดยใช้เฟรมเวิร์ก ragas ทบทวนกันก่อนว่า context precision คือการวัดว่าเอกสารที่ดึงมานั้นมีความเกี่ยวข้องกับคำถามอินพุตมากแค่ไหน

ในแบบฝึกหัดนี้ มีคำถามอินพุต เอกสารที่ระบบ RAG ดึงมา และ ground truth ซึ่งเป็นเอกสารที่เหมาะสมที่สุดตามความเห็นของผู้เชี่ยวชาญ คุณจะคำนวณค่า context precision จากข้อมูลเหล่านี้ก่อนที่จะนำไปใช้กับ RAG chain จริงของ LangChain ในแบบฝึกหัดถัดไป

ข้อความที่โมเดล RAG สร้างขึ้นถูกบันทึกไว้ในตัวแปร model_response เพื่อความกระชับ

แบบฝึกหัดนี้เป็นส่วนหนึ่งของหลักสูตร

Retrieval Augmented Generation (RAG) ด้วย LangChain

ดูคอร์ส

คำแนะนำการฝึกหัด

กำหนด context precision chain ของ ragas
ประเมินค่า context precision ของเอกสารที่ดึงมาโดยอ้างอิงกับคำถามอินพุต โดย "ground_truth" ได้ถูกกำหนดไว้ให้แล้ว

แบบฝึกหัดเชิงโต้ตอบแบบลงมือทำ

ลองทำแบบฝึกหัดนี้โดยเติมโค้ดตัวอย่างนี้ให้สมบูรณ์

from ragas.metrics import context_precision

# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)

# Evaluate the context precision of the RAG chain
eval_result = ____({
  "question": "How does RAG enable AI applications?",
  "ground_truth": "RAG enables AI applications by integrating external data in generative models.",
  "contexts": [
    "RAG enables AI applications by integrating external data in generative models.",
    "RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
  ]
})

print(f"Context Precision: {eval_result['context_precision']}")

แก้ไขและรันโค้ด