Оценка с помощью METEOR
Метрика METEOR отлично справляется с оценкой семантических характеристик текста. Она работает по схожему с ROUGE принципу: сравнивает текст, сгенерированный моделью, с эталонным. Оба текста уже доступны вам в виде переменных generated и reference — вам остаётся вычислить итоговую оценку.
Библиотека evaluate уже загружена.
Это упражнение является частью курса
Введение в LLM на Python
Инструкции к упражнению
- Вычислите и выведите значение метрики METEOR.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)