ComenzarEmpieza gratis

Evaluar con METEOR

METEOR destaca en la evaluación de algunas de las características más semánticas del texto. Funciona de forma similar a ROUGE, comparando una salida generada por el modelo con una salida de referencia. Se te han proporcionado estos textos como generated y reference; a ti te corresponde evaluar la puntuación.

Se ha cargado para ti la biblioteca evaluate.

Este ejercicio forma parte del curso

Introduction to LLMs in Python

Ver curso

Instrucciones de ejercicio

  • Calcula e imprime la puntuación de METEOR.

Ejercicio interactivo práctico

Pruebe este ejercicio completando este código de muestra.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Editar y ejecutar código