Ragas-"Faithfulness"-Bewertung
In dieser Übung bewertest du die Faithfulness der RAG-Architektur, die du am Ende von Kapitel 1 erstellt hast. Diese Chain wurde für dich neu definiert und ist über die Variable chain verfügbar.
Du nutzt die bereitgestellte query, die Ausgabe der Chain und die abgerufenen Dokumente, um die Faithfulness mit dem ragas-Framework zu evaluieren.
Die benötigten Klassen wurden bereits für dich importiert.
Diese Übung ist Teil des Kurses
Retrieval Augmented Generation (RAG) mit LangChain
Anleitung zur Übung
- Führe eine Abfrage des
retrievermit der bereitgestelltenqueryaus und verwende eine List Comprehension, um den Dokumenttext aus jedem abgerufenen Dokument zu extrahieren. - Definiere eine
ragas-Faithfulness-Chain. - Bewerte die Faithfulness der verfügbaren RAG-
chain; du musst die Chain ausführen, um die Antwort zu erzeugen.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)