IniziaInizia gratis

Valutare con ROUGE

ROUGE è comunemente usato per valutare i compiti di riassunto perché verifica le somiglianze tra previsioni e riferimenti. Ti sono stati forniti un riassunto generato dal modello, predictions, e un riassunto di references per la validazione. Calcola i punteggi per vedere quanto bene ha funzionato il modello.

La libreria evaluate è già stata caricata per te.

Questo esercizio fa parte del corso

Introduzione agli LLM in Python

Visualizza il corso

Istruzioni dell'esercizio

  • Carica la metrica ROUGE.
  • Calcola i punteggi ROUGE tra i riassunti previsti e quelli di riferimento.

Esercizio pratico interattivo

Prova a risolvere questo esercizio completando il codice di esempio.

# Load the rouge metric
rouge = ____

predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]

# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)
Modifica ed esegui il codice