Evalueren met METEOR
METEOR blinkt uit in het beoordelen van meer semantische kenmerken in tekst. Het werkt vergelijkbaar met ROUGE door een door het model gegenereerde output te vergelijken met een referentie-output. Je hebt deze teksten gekregen als generated en reference; aan jou de beurt om de score te bepalen.
De evaluate-bibliotheek is alvast voor je geladen.
Deze oefening maakt deel uit van de cursus
Introductie tot LLM’s in Python
Oefeninstructies
- Bereken en print de METEOR-score.
Praktische interactieve oefening
Probeer deze oefening eens door deze voorbeeldcode in te vullen.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)