Ewaluacja z użyciem ROUGE
ROUGE jest często stosowana do oceny zadań streszczania – sprawdza podobieństwa między przewidywaniami a tekstami referencyjnymi. Masz do dyspozycji streszczenie wygenerowane przez model (predictions) oraz streszczenie referencyjne (references) do walidacji. Oblicz wyniki, aby sprawdzić, jak dobrze poradził sobie model.
Biblioteka evaluate została już dla ciebie wczytana.
To ćwiczenie jest częścią kursu
Wprowadzenie do LLM w Pythonie
Instrukcje do ćwiczenia
- Wczytaj metrykę ROUGE.
- Oblicz wyniki ROUGE między przewidywanym a referencyjnym streszczeniem.
Interaktywne ćwiczenie praktyczne
Spróbuj tego ćwiczenia, uzupełniając ten przykładowy kod.
# Load the rouge metric
rouge = ____
predictions = ["""Pluto is a dwarf planet in our solar system, located in the Kuiper Belt beyond Neptune, and was formerly considered the ninth planet until its reclassification in 2006."""]
references = ["""Pluto is a dwarf planet in the solar system, located in the Kuiper Belt beyond Neptune, and was previously deemed as a planet until it was reclassified in 2006."""]
# Calculate the rouge scores between the predicted and reference summaries
results = ____
print("ROUGE results: ", results)