Ragas 신뢰도(faithfulness) 평가

이 연습 문제에서는 1장을 마무리하며 만들었던 RAG 아키텍처의 신뢰도(faithfulness)를 평가해 보겠습니다. 이 체인은 다시 정의되어 있으며 chain 변수로 제공됩니다.

제공된 query, 체인의 출력, 그리고 검색 결과를 사용해 ragas 프레임워크로 신뢰도를 평가하세요.

필요한 클래스들은 이미 임포트되어 있습니다.

이 연습은 강의의 일부입니다

LangChain을 활용한 RAG(검색 증강 생성)

강의 보기

연습 안내

제공된 query로 retriever에 질의하고, 리스트 컴프리헨션을 사용해 검색된 각 문서에서 문서 텍스트를 추출하세요.
ragas 신뢰도 체인을 정의하세요.
제공된 RAG chain의 신뢰도를 평가하세요. 답변을 생성하려면 체인을 호출해야 합니다.

실습형 인터랙티브 연습

이 예제를 이 샘플 코드를 완성하여 풀어보세요.

from ragas.metrics import faithfulness

# Query the retriever using the query and extract the document text
query = "How does RAG improve question answering with LLMs?"
retrieved_docs = [doc.____ for doc in retriever.____(____)]

# Define the faithfulness chain
faithfulness_chain = ____(____, llm=llm, embeddings=embeddings)

# Evaluate the faithfulness of the RAG chain
eval_result = ____({
  "question": ____,
  "answer": ____.____(query),
  "contexts": ____
})

print(eval_result)

코드 편집 및 실행