Začněte nyníZačněte zdarma

Vyhodnocení pomocí METEOR

METEOR vyniká při hodnocení sémantických vlastností textu. Funguje podobně jako ROUGE – porovnává výstup generovaný modelem s referenčním výstupem. Tyto texty máš k dispozici jako generated a reference; teď je řada na tobě, abys skóre vyhodnotil/a.

Knihovna evaluate je už načtená.

Toto cvičení je součástí kurzu

Úvod do LLMs v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Vypočítej a vypiš skóre METEOR.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Upravit a spustit kód