Aan de slagBegin gratis

Evalueren met METEOR

METEOR blinkt uit in het beoordelen van meer semantische kenmerken in tekst. Het werkt vergelijkbaar met ROUGE door een door het model gegenereerde output te vergelijken met een referentie-output. Je hebt deze teksten gekregen als generated en reference; aan jou de beurt om de score te bepalen.

De evaluate-bibliotheek is alvast voor je geladen.

Deze oefening maakt deel uit van de cursus

Introductie tot LLM’s in Python

Bekijk cursus

Oefeninstructies

  • Bereken en print de METEOR-score.

Interactieve oefening met praktijkervaring

Probeer deze oefening door deze voorbeeldcode aan te vullen.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Code bewerken en uitvoeren