Kom igångKom igång gratis

Utvärdering med EM

Exact Match hjälper oss att utvärdera modeller för extraktiv fråga-och-svar – genom att leta efter, precis som du kanske gissar, exakta träffar! Du har återigen fått tillgång till några predictions och references att utvärdera med. Biblioteket evaluate har redan laddats in åt dig.

Den här övningen är en del av kursen

Introduktion till LLM:er i Python

Visa kurs

Övningsinstruktioner

  • Ladda in Exact Match-måttet.
  • Beräkna Exact Match-poängen och skriv ut resultaten.

Interaktiv övning med praktiskt arbete

Testa den här övningen genom att slutföra den här exempelkoden.

# Load the metric
exact_match = ___

predictions = ["It's a wonderful day", "I love dogs", "DataCamp has great AI courses", "Sunshine and flowers"]
references = ["What a wonderful day", "I love cats", "DataCamp has great AI courses", "Sunsets and flowers"]

# Compute the exact match and print the results
results = ____
print("EM results: ", ____)
Redigera och kör kod