Évaluation de la fidélité avec Ragas

Dans cet exercice, vous allez évaluer la fidélité de l’architecture RAG que vous avez créée à la fin du chapitre 1. Cette chaîne a été redéfinie pour vous et est disponible via la variable chain.

Vous utiliserez la query fournie, la sortie de la chaîne et les documents récupérés pour évaluer la fidélité à l’aide du framework ragas.

Les classes nécessaires ont déjà été importées pour vous.

Cet exercice fait partie du cours

Retrieval Augmented Generation (RAG) avec LangChain

Afficher le cours

Instructions

Interrogez le retriever avec la query fournie et utilisez une compréhension de liste pour extraire le texte de chaque document récupéré.
Définissez une chaîne de fidélité ragas.
Évaluez la fidélité de la chain RAG disponible ; vous devrez invoquer la chaîne pour générer la réponse.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

Modifier et exécuter le code