1. Nauka
    2. /
  2. Kursy
    3. /
  3. Retrieval Augmented Generation (RAG) z LangChain
Connected

ćwiczenie

Ewaluacja context precision za pomocą Ragas

Zaczniesz swoją przygodę z ewaluacją RAG od oceny metryki context precision przy użyciu frameworka ragas. Przypomnij sobie, że context precision mierzy, jak bardzo pobrane dokumenty są trafne względem zadanego zapytania.

W tym ćwiczeniu masz już przygotowane: zapytanie wejściowe, dokumenty pobrane przez aplikację RAG oraz tzw. ground truth – czyli dokument uznany za najbardziej odpowiedni przez eksperta. Obliczysz context precision na tych danych, zanim w kolejnym ćwiczeniu przejdziesz do ewaluacji rzeczywistego łańcucha RAG w LangChain.

Tekst wygenerowany przez aplikację RAG został zapisany w zmiennej model_response.

Instrukcje

100 XP
  • Zdefiniuj łańcuch context precision przy użyciu biblioteki ragas.
  • Oblicz context precision dla pobranych dokumentów względem zapytania wejściowego; wartość "ground_truth" została już podana.