Evaluasi context precision dengan Ragas
Untuk memulai evaluasi RAG, Anda akan menilai metrik context precision menggunakan kerangka kerja ragas. Ingat bahwa context precision pada dasarnya mengukur seberapa relevan dokumen yang diambil terhadap kueri masukan.
Dalam latihan ini, Anda disediakan sebuah kueri masukan, dokumen-dokumen yang diambil oleh aplikasi RAG, dan ground truth, yaitu dokumen yang paling tepat untuk diambil berdasarkan penilaian pakar manusia. Anda akan menghitung context precision pada string-string ini sebelum mengevaluasi rantai RAG LangChain yang sebenarnya pada latihan berikutnya.
Teks yang dihasilkan oleh aplikasi RAG telah disimpan ke variabel model_response untuk ringkasnya.
Latihan ini adalah bagian dari kursus
Retrieval Augmented Generation (RAG) dengan LangChain
Petunjuk latihan
- Definisikan rantai context precision
ragas. - Evaluasi context precision dari dokumen yang diambil untuk kueri masukan; sebuah
"ground_truth"telah disediakan.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
from ragas.metrics import context_precision
# Define the context precision chain
context_precision_chain = ____(metric=____, llm=llm, embeddings=embeddings)
# Evaluate the context precision of the RAG chain
eval_result = ____({
"question": "How does RAG enable AI applications?",
"ground_truth": "RAG enables AI applications by integrating external data in generative models.",
"contexts": [
"RAG enables AI applications by integrating external data in generative models.",
"RAG enables AI applications such as semantic search engines, recommendation systems, and context-aware chatbots."
]
})
print(f"Context Precision: {eval_result['context_precision']}")