Evaluarea fidelității cu Ragas

În acest exercițiu, vei evalua fidelitatea arhitecturii RAG create la finalul Capitolului 1. Acest lanț a fost redefinit pentru tine și este disponibil prin variabila chain.

Vei folosi query-ul furnizat, răspunsul lanțului și rezultatele recuperate pentru a evalua fidelitatea cu ajutorul framework-ului ragas.

Clasele necesare au fost deja importate pentru tine.

Acest exercițiu face parte din cursul

Retrieval Augmented Generation (RAG) cu LangChain

Vezi cursul

Instrucțiuni pentru exercițiu

Interogează retriever-ul folosind query-ul furnizat și extrage textul documentelor dintr-un list comprehension aplicat pe documentele recuperate.
Definește un lanț de fidelitate ragas.
Evaluează fidelitatea lanțului RAG disponibil (chain); va trebui să invoci lanțul pentru a genera răspunsul.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

Editează și rulează codul