Evaluasi faithfulness dengan Ragas
Dalam latihan ini, Anda akan mengevaluasi faithfulness dari arsitektur RAG yang Anda buat di akhir Bab 1. Rantai ini telah didefinisikan ulang untuk Anda dan tersedia melalui variabel chain.
Anda akan menggunakan query yang disediakan, keluaran rantai, dan keluaran hasil pengambilan untuk mengevaluasi faithfulness menggunakan kerangka kerja ragas.
Kelas-kelas yang diperlukan sudah diimpor untuk Anda.
Latihan ini adalah bagian dari kursus
Retrieval Augmented Generation (RAG) dengan LangChain
Petunjuk latihan
- Kueri
retrievermenggunakanqueryyang disediakan dan gunakan list comprehension untuk mengekstrak teks dokumen dari setiap dokumen yang diambil. - Definisikan rantai faithfulness
ragas. - Evaluasi faithfulness dari
chainRAG yang tersedia; Anda perlu memanggil rantainya untuk menghasilkan jawabannya.
Latihan interaktif praktis
Cobalah latihan ini dengan menyelesaikan kode contoh berikut.
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)