Evaluare cu EM
Exact Match ne ajută să evaluăm modelele în sarcinile de tip întrebare-răspuns extractiv, căutând – ai ghicit – potriviri exacte! Ți-au fost furnizate câteva predictions și references pentru evaluare. Biblioteca evaluate a fost deja încărcată.
Acest exercițiu face parte din cursul
Introducere în LLM-uri cu Python
Instrucțiuni pentru exercițiu
- Încarcă metrica Exact Match.
- Calculează scorul Exact Match și afișează rezultatele.
Exercițiu interactiv practic
Încearcă acest exercițiu completând acest cod de exemplu.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)