1. Nauka
    2. /
  2. Kursy
    3. /
  3. Wprowadzenie do LLM w Pythonie
Connected

ćwiczenie

Korzystanie z metryk biblioteki evaluate

Czas ocenić działanie modelu LLM klasyfikującego zgłoszenia do obsługi klienta. Kontynuując pracę z wytrenowanym modelem, użyjesz teraz nowego zbioru walidacyjnego, aby sprawdzić jego wydajność.

Niektóre zgłoszenia i odpowiadające im etykiety zostały już wczytane jako validate_text i validate_labels. Model (model) i tokenizer (tokenizer) są również dostępne.

Instrukcje

100 XP
  • Wyodrębnij przewidywane etykiety z logitów modelu zawartych w outputs.
  • Oblicz cztery wczytane metryki, porównując prawdziwe etykiety (validate_labels) z przewidywanymi.