Оцінювання достовірності Ragas

У цій вправі ви оціните достовірність RAG-архітектури, яку ви створили наприкінці Розділу 1. Цей ланцюжок повторно визначено для вас і він доступний через змінну chain.

Ви використаєте наданий query, вихід ланцюжка та отримані документи, щоб оцінити достовірність за допомогою фреймворку ragas.

Необхідні класи вже імпортовано для вас.

Ця вправа є частиною курсу

Retrieval Augmented Generation (RAG) з LangChain

Переглянути курс

Інструкції до вправи

Зробіть запит до retriever, використавши наданий query, і за допомогою list comprehension витягніть текст кожного отриманого документа.
Визначте ланцюжок достовірності ragas.
Оцініть достовірність доступного RAG-chain; для цього вам потрібно викликати ланцюжок, щоб згенерувати відповідь.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

Редагувати та запускати код