Bewertung mit METEOR
METEOR leistet ausgezeichnete Ergebnisse, wenn es darum geht, einige der eher semantischen Merkmale in Texten zu bewerten. Die Kennzahl funktioniert ähnlich wie ROUGE, indem sie die von einem Modell erzeugte Ausgabe mit einer Referenzausgabe vergleicht. Dir wurden diese Texte als generated und reference bereitgestellt; jetzt ist es an dir, den Score zu bewerten.
Die Bibliothek evaluate wurde bereits für dich geladen.
Diese Übung ist Teil des Kurses
Einführung in LLMs mit Python
Anleitung zur Übung
- Berechne den METEOR-Score und gib ihn aus.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)