ÎncepețiÎncepe gratuit

Evaluare cu METEOR

METEOR excelează la evaluarea unor caracteristici semantice din text. Funcționează similar cu ROUGE, comparând rezultatul generat de model cu un rezultat de referință. Îți sunt puse la dispoziție aceste texte sub formă de generated și reference; acum e rândul tău să calculezi scorul.

Biblioteca evaluate a fost deja încărcată.

Acest exercițiu face parte din cursul

Introducere în LLM-uri cu Python

Vezi cursul

Instrucțiuni pentru exercițiu

  • Calculează și afișează scorul METEOR.

Exercițiu interactiv practic

Încearcă acest exercițiu completând acest cod de exemplu.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Editează și rulează codul