Avaliando com EM
A correspondência exata nos ajuda a avaliar modelos quando se trata de perguntas e respostas extrativas, mas procurando, você adivinhou, correspondências exatas! Mais uma vez, você recebeu alguns predictions e references para avaliação. A biblioteca evaluate foi carregada para você.
Este exercício faz parte do curso
Introdução aos LLMs em Python
Instruções do exercício
- Carregue a métrica Exact Match.
- Calcule a pontuação de correspondência exata e imprima os resultados.
Exercício interativo prático
Experimente este exercício completando este código de exemplo.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)