Evaluar con EM
La concordancia exacta nos ayuda a evaluar modelos cuando se trata de preguntas y respuestas extractivas, pero buscando, lo has adivinado, ¡concordancias exactas! Una vez más, se te han proporcionado algunos predictions
y references
para que los evalúes. Se ha cargado para ti la biblioteca evaluate
.
Este ejercicio forma parte del curso
Introduction to LLMs in Python
Instrucciones de ejercicio
- Carga la métrica Coincidencia exacta.
- Calcula la puntuación de la Coincidencia exacta e imprime los resultados.
Ejercicio interactivo práctico
Pruebe este ejercicio completando este código de muestra.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)