Évaluer avec METEOR
METEOR excelle pour évaluer certaines caractéristiques plus sémantiques d'un texte. Son fonctionnement ressemble à ROUGE : on compare la sortie générée par le modèle à une sortie de référence. On vous a fourni ces textes sous forme de generated et reference ; à vous de calculer le score.
La bibliothèque evaluate a été chargée pour vous.
Cette activité fait partie du cours
Introduction aux LLM avec Python
Instructions de l’exercice
- Calculez et affichez le score METEOR.
Exercice interactif pratique
Essayez cet exercice en complétant ce code d’exemple.
meteor = evaluate.load("meteor")
generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]
# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)