Оцінювання за EM
Exact Match допомагає оцінювати моделі для екстрактивного запитання‑відповідi, коли нам потрібні, як ви вже здогадалися, точні збіги. Знову ж таки, вам надано деякі predictions і references для оцінювання. Бібліотеку evaluate уже завантажено для вас.
Ця вправа є частиною курсу
Вступ до LLM у Python
Інструкції до вправи
- Завантажте метрику Exact Match.
- Обчисліть показник Exact Match і виведіть результат.
Інтерактивна практична вправа
Спробуйте виконати цю вправу, доповнивши цей зразок коду.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)