Використання метрик evaluate
Пора оцінити вашу LLM, яка класифікує звернення до служби підтримки. Продовжуючи з місця, де ви зупинилися з донавченою моделлю, тепер ви використаєте новий валідаційний набір даних, щоб перевірити якість роботи моделі.
Декілька взаємодій і відповідні їм мітки завантажено для вас як validate_text і validate_labels. Також завантажено model і tokenizer.
Ця вправа є частиною курсу
Вступ до LLM у Python
Інструкції до вправи
- Витягніть передбачені мітки з логітів моделі, що містяться в
outputs. - Обчисліть чотири завантажені метрики, порівнюючи справжні (
validate_labels) і передбачені мітки.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
accuracy = evaluate.load("accuracy")
precision = evaluate.load("precision")
recall = evaluate.load("recall")
f1 = evaluate.load("f1")
# Extract the new predictions
predicted_labels = ____
# Compute the metrics by comparing real and predicted labels
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))
print(____(____=____, predictions=predicted_labels))