1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Retrieval Augmented Generation (RAG) with LangChain
Connected

Cvičení

Vyhodnocení přesnosti kontextu pomocí Ragas

Svoji cestu k vyhodnocování RAG začneš metrikou přesnosti kontextu (context precision) pomocí frameworku ragas. Připomeň si, že přesnost kontextu měří, jak relevantní jsou načtené dokumenty vzhledem k vstupnímu dotazu.

V tomto cvičení máš k dispozici vstupní dotaz, dokumenty načtené RAG aplikací a ground truth – tedy dokument, který by byl nejlépe vyhovující podle posouzení lidského experta. Přesnost kontextu vypočítáš na těchto řetězcích ještě před tím, než v příštím cvičení vyhodnotíš skutečný RAG řetězec v LangChainu.

Text vygenerovaný RAG aplikací je pro přehlednost uložen v proměnné model_response.

Pokyny

100 XP
  • Definuj řetězec pro vyhodnocení přesnosti kontextu pomocí ragas.
  • Vyhodnoť přesnost kontextu načtených dokumentů vzhledem ke vstupnímu dotazu; "ground_truth" už je připraven.