Ragas bağlam kesinliği değerlendirmesi

RAG değerlendirme yolculuğuna başlamak için, ragas çerçevesini kullanarak bağlam kesinliği RAG metriğini değerlendirmekle başlayacaksın. Bağlam kesinliğinin, getirilen belgelerin girdi sorgusuyla ne kadar ilişkili olduğunun bir ölçüsü olduğunu unutma.

Bu egzersizde sana bir girdi sorgusu, bir RAG uygulaması tarafından getirilen belgeler ve bir insan uzmanın görüşüne göre getirilmesi en uygun belgeyi temsil eden yer doğrusu (ground truth) verildi. Bir sonraki egzersizde gerçek bir LangChain RAG zincirini değerlendirmeden önce, bu metinler üzerinde bağlam kesinliğini hesaplayacaksın.

RAG uygulaması tarafından üretilen metin, kısalık adına model_response değişkenine kaydedildi.

Bu egzersiz

LangChain ile Retrieval Augmented Generation (RAG)

kursunun bir parçasıdır

Kursu Görüntüle

Egzersiz talimatları

Bir ragas bağlam kesinliği zinciri tanımla.
Girdi sorgusu için sağlanan getirilen belgelerin bağlam kesinliğini değerlendir; bir "ground_truth" zaten girildi.

Uygulamalı interaktif egzersiz

Bu örnek kodu tamamlayarak bu egzersizi bitirin.

from ragas.metrics import context_precision

# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)

# Evaluate the context precision of the RAG chain
eval_result = ____({
  "question": "How does RAG enable AI applications?",
  "ground_truth": "RAG enables AI applications by integrating external data in generative models.",
  "contexts": [
    "RAG enables AI applications by integrating external data in generative models.",
    "RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
  ]
})

print(f"Context Precision: {eval_result['context_precision']}")

Kodu Düzenle ve Çalıştır