1. Učit se
    2. /
  2. Kurzy
    3. /
  3. Úvod do LLMs v Pythonu
Connected

cvičení

Použití evaluate metrik

Přišel čas vyhodnotit svůj LLM, který klasifikuje interakce zákaznické podpory. Navážeš na svůj doladěný model a použiješ novou validační datovou sadu k posouzení jeho výkonu.

Některé interakce a jejich odpovídající štítky jsou načtené jako validate_text a validate_labels. K dispozici máš také model a tokenizer.

Pokyny

100 XP
  • Z logitů modelu obsažených v outputs extrahuj predikované štítky.
  • Spočítej čtyři načtené metriky porovnáním skutečných (validate_labels) a predikovaných štítků.