ПочатиПочніть безкоштовно

Оцінювання попередньо натренованої моделі генерування тексту

Команда PyBooks використала попередньо натреновану модель GPT-2, з якою ви вже експериментували, щоб згенерувати текст на основі заданого підказу. Тепер вони хочуть оцінити якість цього згенерованого тексту. Для цього вам доручили оцінити згенерований текст, порівнявши його з еталонним текстом.

BLEUScore, ROUGEScore було завантажено для вас.

Ця вправа є частиною курсу

Глибоке навчання для тексту з PyTorch

Переглянути курс

Інструкції до вправи

  • Спершу ініціалізуйте дві метрики (BLEU і ROUGE) з torchmetrics.text.
  • Використайте ці ініціалізовані метрики, щоб обчислити бали між згенерованим і еталонним текстами.
  • Виведіть обчислені показники BLEU і ROUGE.

Інтерактивна практична вправа

Спробуйте виконати цю вправу, доповнивши цей зразок коду.

reference_text = "Once upon a time, there was a little girl who lived in a village near the forest."
generated_text = "Once upon a time, the world was a place of great beauty and great danger. The world of the gods was the place where the great gods were born, and where they were to live."

# Initialize BLEU and ROUGE scorers
bleu = ____()
rouge = ____()

# Calculate the BLEU and ROUGE scores
bleu_score = bleu([____], [[reference_text]])
rouge_score = rouge([generated_text], [[____]])

# Print the BLEU and ROUGE scores
print("BLEU Score:", bleu_score.____())
print("ROUGE Score:", rouge_score)
Редагувати та запускати код