ПочатиПочніть безкоштовно

Оцініть згенерований текст за допомогою ROUGE

Вам надано 10 прикладів із набору даних для відповіді на запитання (Softage-AI/sft-conversational_dataset).

Ви використали TinyLlama-1.1B, щоб згенерувати відповіді на ці приклади, і ваше завдання — оцінити якість згенерованих результатів відносно еталонних відповідей.

Відповіді, згенеровані цією моделлю, містяться в test_answers, а еталон — у reference_answers. Використайте метрики оцінювання ROUGE, щоб оцінити якість генерації моделі.

Ця вправа є частиною курсу

Тонке налаштування з Llama 3

Переглянути курс

Інструкції до вправи

  • Імпортуйте клас оцінювання та метрику (метрика ROUGE).
  • Створіть екземпляр класу оцінювання та завантажте метрику ROUGE.
  • Запустіть екземпляр оцінювача з наданими reference_answers і test_answers, щоб обчислити оцінки ROUGE.
  • Збережіть у final_score показник із результатів, який перевіряє перетин пар слів між еталонними та згенерованими відповідями.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

# Import the evaluation library from Hugging Face
import ____ 

# Instantiate your evaluate library and load the ROUGE metric
rouge_evaluator = ____.load(____) 

# Fill in the method, and place your reference answers and test answers
results = rouge_evaluator.____

# Extract the ROUGE1 score from the results dictionary
final_score = results[____]
print(final_score)
Редагувати та запускати код