Evalueren met EM
Exact Match helpt bij het evalueren van modellen voor extractieve vraag-antwoordtaken door te zoeken naar — je raadt het al — exacte overeenkomsten! Je hebt weer enkele predictions en references gekregen om te evalueren. De evaluate-bibliotheek is al voor je geladen.
Deze oefening maakt deel uit van de cursus
Introductie tot LLM’s in Python
Oefeninstructies
- Laad de Exact Match-metriek.
- Bereken de Exact Match-score en print de resultaten.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)