CommencerCommencer gratuitement

Évaluer avec METEOR

METEOR permet d'évaluer certaines des caractéristiques les plus sémantiques d'un texte. Il fonctionne de manière similaire à ROUGE en comparant une sortie générée par le modèle à une sortie de référence. Ces textes vous ont été fournis en tant que generated et reference; c'est à vous d'évaluer le score.

La bibliothèque evaluate a été chargée pour vous.

Cet exercice fait partie du cours

Introduction aux LLM en Python

Afficher le cours

Instructions

  • Calculez et imprimez le score METEOR.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

meteor = evaluate.load("meteor")

generated = ["The burrow stretched forward like a narrow corridor for a while, then plunged abruptly downward, so quickly that Alice had no chance to stop herself before she was tumbling into an extremely deep shaft."]
reference = ["The rabbit-hole went straight on like a tunnel for some way, and then dipped suddenly down, so suddenly that Alice had not a moment to think about stopping herself before she found herself falling down a very deep well."]

# Compute and print the METEOR score
results = ____
print("Meteor: ", ____)
Modifier et exécuter le code