Ocena wierności przy użyciu Ragas
W tym ćwiczeniu ocenisz wierność architektury RAG, którą stworzyłeś pod koniec rozdziału 1. Łańcuch został już ponownie zdefiniowany i jest dostępny przez zmienną chain.
Wykorzystasz podane query, wynik łańcucha oraz pobrane dokumenty do oceny wierności przy użyciu frameworka ragas.
Wymagane klasy zostały już zaimportowane.
To ćwiczenie jest częścią kursu
Retrieval Augmented Generation (RAG) z LangChain
Instrukcje do ćwiczenia
- Wyślij zapytanie do
retriever, używając podanegoquery, a następnie użyj wyrażenia listowego, aby wyodrębnić tekst z każdego pobranego dokumentu. - Zdefiniuj łańcuch wierności
ragas. - Oceń wierność dostępnego łańcucha RAG
chain– w tym celu wywołaj łańcuch, aby wygenerować odpowiedź.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
from ragas.metrics import faithfulness
# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]
# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)
# Evaluate the faithfulness of the RAG chain
eval_result = ____({
"question": ____,
"answer": ____.____(query),
"contexts": ____
})
print(eval_result)