Ragas-evaluatie van betrouwbaarheid (faithfulness)

In deze oefening ga je de betrouwbaarheid (faithfulness) evalueren van de RAG-architectuur die je aan het einde van hoofdstuk 1 hebt gebouwd. Deze chain is opnieuw voor je gedefinieerd en beschikbaar via de variabele chain.

Je gebruikt de meegeleverde query, de uitvoer van de chain en de opgehaalde documenten om de betrouwbaarheid te evalueren met het ragas-framework.

De benodigde classes zijn al voor je geïmporteerd.

Deze oefening maakt deel uit van de cursus

Retrieval Augmented Generation (RAG) met LangChain

Cursus bekijken

Oefeninstructies

Voer een query uit op de retriever met de gegeven query en gebruik een list comprehension om de documenttekst uit elk opgehaald document te halen.
Definieer een ragas-faithfulness chain.
Evalueer de betrouwbaarheid (faithfulness) van de beschikbare RAG-chain; je moet de chain aanroepen om het antwoord te genereren.

Praktische interactieve oefening

Probeer deze oefening eens door deze voorbeeldcode in te vullen.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

Code bewerken en uitvoeren