1. Learn
    2. /
  2. Курси
    3. /
  3. Вступ до LLM у Python
Connected

вправа

Використання метрик evaluate

Пора оцінити вашу LLM, яка класифікує звернення до служби підтримки. Продовжуючи з місця, де ви зупинилися з донавченою моделлю, тепер ви використаєте новий валідаційний набір даних, щоб перевірити якість роботи моделі.

Декілька взаємодій і відповідні їм мітки завантажено для вас як validate_text і validate_labels. Також завантажено model і tokenizer.

Інструкції

100 XP
  • Витягніть передбачені мітки з логітів моделі, що містяться в outputs.
  • Обчисліть чотири завантажені метрики, порівнюючи справжні (validate_labels) і передбачені мітки.