Оцінювання за допомогою ROUGE
ROUGE зазвичай застосовують для оцінювання задач узагальнення, адже вона перевіряє подібність між передбаченнями та еталонними відповідями. Вам надано згенерований моделлю виклад, predictions, і еталонний виклад references для перевірки. Обчисліть оцінки, щоб побачити, наскільки добре спрацювала модель.
Бібліотеку evaluate уже підключено для вас.
Ця вправа є частиною курсу
Вступ до LLM у Python
Інструкції до вправи
- Завантажте метрику ROUGE.
- Обчисліть значення ROUGE між згенерованим і еталонним викладами.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Load the rouge metric
rouge = ____
predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]
# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)