CommencerCommencer gratuitement

Évaluer avec ROUGE

ROUGE est couramment utilisé pour évaluer les tâches de résumé, car il vérifie les similitudes entre les prédictions et les références. Vous avez reçu un résumé généré par le modèle, predictions, et un résumé references à valider. Calculez les scores pour connaître les performances du modèle.

La bibliothèque evaluate a été chargée pour vous.

Cet exercice fait partie du cours

Introduction aux LLM en Python

Afficher le cours

Instructions

  • Chargez la métrique ROUGE.
  • Calculez les scores ROUGE entre les résumés prédits et les résumés de référence.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load the rouge metric
rouge = ____

predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]

# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)
Modifier et exécuter le code