1. Learn
    2. /
  2. Courses
    3. /
  3. Введение в LLM на Python
Connected

Exercise

Оценка с помощью EM

Метрика Exact Match помогает оценивать модели в задачах извлекающего вопросно-ответного поиска — она проверяет наличие точных совпадений с эталоном. Как вы уже догадались! Для выполнения задания вам предоставлены списки predictions и references. Библиотека evaluate уже загружена.

Instructions

100 XP
  • Загрузите метрику Exact Match.
  • Вычислите оценку Exact Match и выведите результаты.