Оценка с помощью EM
Метрика Exact Match помогает оценивать модели в задачах извлекающего вопросно-ответного поиска — она проверяет наличие точных совпадений с эталоном. Как вы уже догадались! Для выполнения задания вам предоставлены списки predictions и references. Библиотека evaluate уже загружена.
Это упражнение является частью курса
Введение в LLM на Python
Инструкции к упражнению
- Загрузите метрику Exact Match.
- Вычислите оценку Exact Match и выведите результаты.
Интерактивное практическое упражнение
Попробуйте выполнить это упражнение, дополнив этот пример кода.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)