Zacznij terazZacznij za darmo

Ewaluacja z użyciem EM

Exact Match to metryka, która ocenia modele w zadaniach ekstrakcyjnego pytania i odpowiedzi – szukając, jak sama nazwa wskazuje, dokładnych dopasowań! Podobnie jak wcześniej, masz już przygotowane listy predictions i references do ewaluacji. Biblioteka evaluate została już za ciebie wczytana.

To ćwiczenie jest częścią kursu

Wprowadzenie do LLM w Pythonie

Zobacz kurs

Instrukcje do ćwiczenia

  • Wczytaj metrykę Exact Match.
  • Oblicz wynik Exact Match i wydrukuj wyniki.

Interaktywne ćwiczenie praktyczne

Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.

# Load the metric
exact_match = ___

predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]

# Compute the exact match and print the results
results = ____
print("EM results: ", ____)
Edytuj i uruchom kod