Évaluation de la fidélité avec Ragas

Dans cet exercice, vous allez évaluer la fidélité de l'architecture RAG que vous avez créée à la fin du chapitre 1. Cette chaîne a été redéfinie pour vous et est accessible via la variable chain.

Vous utiliserez la query fournie, la sortie de la chaîne et les documents récupérés pour évaluer la fidélité à l'aide du cadre ragas.

Les classes requises ont déjà été importées pour vous.

Cette activité fait partie du cours

Retrieval Augmented Generation (RAG) avec LangChain

Voir le cours

Instructions de l’exercice

Interrogez le retriever avec la query fournie et utilisez une compréhension de liste pour extraire le texte de chaque document récupéré.
Définissez une chaîne de fidélité ragas.
Évaluez la fidélité de la chain RAG disponible ; vous devrez invoquer la chaîne pour générer la réponse.

Exercice interactif pratique

Essayez cet exercice en complétant ce code d’exemple.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

Modifier et exécuter le code