Kom igångKom igång gratis

Utvärdering med METEOR

METEOR är särskilt bra på att utvärdera semantiska egenskaper i text. Metoden fungerar på liknande sätt som ROUGE och jämför en modellgenererad text med en referenstext. Du har fått dessa texter som generated och reference – nu är det din tur att beräkna poängen.

Biblioteket evaluate är redan inläst.

Den här övningen är en del av kursen

Introduktion till LLM:er i Python

Visa kurs

Övningsinstruktioner

  • Beräkna och skriv ut METEOR-poängen.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Redigera och kör kod