Hodnocení věrnosti pomocí Ragas

V tomto cvičení vyhodnotíš věrnost RAG architektury, kterou jsi vytvořil/a na konci 1. kapitoly. Tento řetězec byl pro tebe znovu definován a je dostupný prostřednictvím proměnné chain.

Použiješ poskytnutý query, výstup řetězce a načtené výsledky k vyhodnocení věrnosti pomocí frameworku ragas.

Potřebné třídy už jsou za tebe importovány.

Toto cvičení je součástí kurzu

Retrieval Augmented Generation (RAG) with LangChain

Zobrazit kurz

Pokyny k cvičení

Dotaž se retriever pomocí poskytnutého query a použij list comprehension k extrakci textu z každého načteného dokumentu.
Definuj řetězec věrnosti (faithfulness chain) v rámci ragas.
Vyhodnoť věrnost dostupného RAG chain; pro vygenerování odpovědi budeš muset řetězec spustit pomocí invoke.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

Upravit a spustit kód