Avaliando com METEOR
METEOR é excelente na avaliação de alguns dos recursos mais semânticos do texto. Funciona de forma semelhante ao ROUGE, comparando uma saída gerada pelo modelo com uma saída de referência. Você recebeu esses textos como generated e reference; cabe a você avaliar a pontuação.
A biblioteca evaluate foi carregada para você.
Este exercício faz parte do curso
Introdução aos LLMs em Python
Instruções do exercício
- Calcule e imprima a pontuação METEOR.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)