Bewertung mit ROUGE
ROUGE wird oft eingesetzt, um Zusammenfassungsaufgaben zu bewerten, weil es nach Ähnlichkeiten zwischen den Vorhersagen und Referenzen sucht. Du hast eine vom Modell erstellte Zusammenfassung predictions und eine Zusammenfassung references zur Validierung. Berechne die Punktzahlen, um zu sehen, wie gut das Modell abgeschnitten hat.
Die Bibliothek evaluate wurde bereits für dich geladen.
Diese Übung ist Teil des Kurses
Einführung in LLMs mit Python
Anleitung zur Übung
- Lade die ROUGE-Metrik.
- Berechne die ROUGE-Werte zwischen den vorhergesagten und den als Referenz dienenden Zusammenfassungen.
Interaktive Übung
Vervollständige den Beispielcode, um diese Übung erfolgreich abzuschließen.
# Load the rouge metric
rouge = ____
predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]
# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)