Utvärdering med EM
Exact Match hjälper oss att utvärdera modeller för extraktiv fråga-och-svar – genom att leta efter, precis som du kanske gissar, exakta träffar! Du har återigen fått tillgång till några predictions och references att utvärdera med. Biblioteket evaluate har redan laddats in åt dig.
Den här övningen är en del av kursen
Introduktion till LLM:er i Python
Övningsinstruktioner
- Ladda in Exact Match-måttet.
- Beräkna Exact Match-poängen och skriv ut resultaten.
Interaktiv övning med praktiskt arbete
Testa den här övningen genom att slutföra den här exempelkoden.
# Load the metric
exact_match = ___
predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]
# Compute the exact match and print the results
results = ____
print("EM results: ", ____)