Mulai sekarangMulai gratis

Evaluasi faithfulness dengan Ragas

Dalam latihan ini, Anda akan mengevaluasi faithfulness dari arsitektur RAG yang Anda buat di akhir Bab 1. Rantai ini telah didefinisikan ulang untuk Anda dan tersedia melalui variabel chain.

Anda akan menggunakan query yang disediakan, keluaran rantai, dan keluaran hasil pengambilan untuk mengevaluasi faithfulness menggunakan kerangka kerja ragas.

Kelas-kelas yang diperlukan sudah diimpor untuk Anda.

Latihan ini merupakan bagian dari kursus

Retrieval Augmented Generation (RAG) dengan LangChain

Lihat Kursus

Instruksi latihan

  • Kueri retriever menggunakan query yang disediakan dan gunakan list comprehension untuk mengekstrak teks dokumen dari setiap dokumen yang diambil.
  • Definisikan rantai faithfulness ragas.
  • Evaluasi faithfulness dari chain RAG yang tersedia; Anda perlu memanggil rantainya untuk menghasilkan jawabannya.

Latihan interaktif langsung praktik

Cobalah latihan ini dengan melengkapi kode contoh ini.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)
Edit dan Jalankan Kode