Začněte nyníZačněte zdarma

Vyhodnocení pomocí ROUGE

ROUGE se běžně používá k vyhodnocování úloh shrnutí textu, protože porovnává podobnosti mezi předpověďmi a referenčními texty. Máš k dispozici shrnutí vygenerované modelem (predictions) a referenční shrnutí (references) pro ověření. Vypočítej skóre a zjisti, jak si model vedl.

Knihovna evaluate je už načtená.

Toto cvičení je součástí kurzu

Úvod do LLMs v Pythonu

Zobrazit kurz

Pokyny k cvičení

  • Načti metriku ROUGE.
  • Vypočítej skóre ROUGE mezi předpovězeným a referenčním shrnutím.

Interaktivní cvičení na vyzkoušení si v praxi

Vyzkoušejte si toto cvičení dokončením tohoto ukázkového kódu.

# Load the rouge metric
rouge = ____

predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]

# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)
Upravit a spustit kód