Erste SchritteKostenlos loslegen

Auswerten mit METEOR

METEOR eignet sich besonders gut für die Auswertung einiger semantischer Merkmale im Text. Sie funktioniert ähnlich wie ROUGE, indem sie eine modellgenerierte Ausgabe mit einer Referenzausgabe vergleicht. Du hast diese Texte als generated und reference zur Verfügung gestellt bekommen; es liegt an dir, sie zu bewerten.

Die Bibliothek evaluate wurde für dich geladen.

Diese Übung ist Teil des Kurses

Einführung in LLMs in Python

Kurs anzeigen

Anleitung zur Übung

  • Berechne und drucke die METEOR Punkte.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Bearbeiten und Ausführen von Code