Оценка с помощью ROUGE
Метрика ROUGE широко применяется для оценки задач суммаризации: она сравнивает сгенерированные тексты с эталонными. Вам предоставлены сгенерированный моделью итоговый текст predictions и эталонный текст references для проверки. Вычислите оценки, чтобы узнать, насколько хорошо справилась модель.
Библиотека evaluate уже загружена.
Это упражнение является частью курса
Введение в LLM на Python
Инструкции к упражнению
- Загрузите метрику ROUGE.
- Вычислите оценки ROUGE между сгенерированным и эталонным текстами.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Load the rouge metric
rouge = ____
predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]
# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)