CommencerCommencer gratuitement

Évaluer avec EM

La correspondance exacte nous aide à évaluer les modèles lorsqu'il s'agit de poser des questions et de répondre de manière extractive en recherchant, vous l'avez deviné, des correspondances exactes ! Une fois de plus, on vous a fourni des informations sur predictions et references pour évaluation. La bibliothèque evaluate a été chargée pour vous.

Cet exercice fait partie du cours

Introduction aux LLM en Python

Afficher le cours

Instructions

  • Chargez la métrique Correspondance exacte.
  • Calculez le score de correspondance exacte et imprimez les résultats.

Exercice interactif pratique

Essayez cet exercice en complétant cet exemple de code.

# Load the metric
exact_match = ___

predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]

# Compute the exact match and print the results
results = ____
print("EM results: ", ____)
Modifier et exécuter le code