Erste SchritteKostenlos loslegen

Auswerten mit ROUGE

ROUGE wird häufig verwendet, um Zusammenfassungsaufgaben zu bewerten, da sie auf Ähnlichkeiten zwischen Vorhersagen und Referenzen prüft. Du hast eine modellgenerierte Zusammenfassung, predictions, und eine references Zusammenfassung zur Validierung erhalten. Berechne die Punktzahlen, um zu sehen, wie gut das Modell abgeschnitten hat.

Die Bibliothek evaluate wurde für dich geladen.

Diese Übung ist Teil des Kurses

Einführung in LLMs in Python

Kurs anzeigen

Anleitung zur Übung

  • Lade die ROUGE Metrik.
  • Berechne die ROUGE Werte zwischen den vorhergesagten und den Referenzzusammenfassungen.

Interaktive Übung zum Anfassen

Probieren Sie diese Übung aus, indem Sie diesen Beispielcode ausführen.

# Load the rouge metric
rouge = ____

predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]

# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)
Bearbeiten und Ausführen von Code